Компьютерная система на основе света может дать мощный толчок программам машинного обучения типа ChatGPT

Компьютерные системы на основе света — новая технология, разработанная командой ученых из Массачусетского технологического института (MIT), которая может значительно повысить мощность и эффективность программ машинного обучения, таких как ChatGPT. На данный момент нейросети такого типа ограниченны размерами и мощностью современных суперкомпьютеров, которые требуют большого количества энергии для обучения и запуска моделей машинного обучения.

Новая эра оптических вычислений

Система на основе света, представленная в журнале Nature Photonics в этом месяце, использует сотни микронных лазеров для выполнения вычислений на основе движения света, а не электронов. С помощью этой системы команда сообщает о более чем 100-кратном увеличении энергоэффективности и 25-кратном увеличении вычислительной плотности, то есть меры мощности системы, по сравнению с передовыми цифровыми компьютерами для машинного обучения.

В статье авторы утверждают, что новая технология открывает путь к крупномасштабным оптоэлектронным процессорам для ускорения задач машинного обучения. Другими словами, мобильные телефоны и другие небольшие устройства в будущем смогут запускать программы, которые в настоящее время могут быть запущены только в крупных центрах обработки данных.

Создание такой системы на оптической основе стало возможным благодаря использованию лазерных массивов, которые широко используются в современной технологии, например, для распознавания лиц в сотовых телефонах и передачи данных.


— Зайджун Чен, первый автор работы, доцент Университета Южной Калифорнии.


— Дирк Энглунд, доцент кафедры электротехники и компьютерных наук MIT и руководитель работы.

Как работает вычислительная система на основе света и почему она так эффективна для машинного обучения?

Оптическая вычислительная система состоит из двух основных компонентов: лазерных массивов и фотодетекторов. Лазерные массивы — это наборы микронных лазеров, которые могут генерировать и модулировать свет разных цветов и интенсивностей. Фотодетекторы — это устройства, которые могут преобразовывать свет в электрические сигналы.

Комбинируя эти компоненты, система может выполнять различные математические операции, необходимые для машинного обучения, такие как сложение, умножение, скалярное произведение и матричное умножение.

Преимущество системы на основе света заключается в том, что она может параллельно обрабатывать большое количество данных с высокой скоростью и низким энергопотреблением. Свет может перемещаться быстрее, чем электроны, и не подвержен тепловым потерям или электромагнитным помехам. Кроме того, свет может нести больше информации, чем электрический сигнал, поскольку он может иметь разные длины волн, фазы и поляризации. Это позволяет системе на основе света использовать меньше ресурсов для выполнения тех же задач, что и цифровые компьютеры.

Система на основе света может быть применена к различным типам программ машинного обучения, в том числе и, к таким как ChatGPT. ChatGPT основан на архитектуре нейронной сети, называемой трансформером, которая состоит из множества слоев обработки данных.

Каждый слой трансформера использует матричные операции для извлечения признаков из входных данных и генерации выходных данных. Система на основе света может эффективно выполнять эти операции с помощью лазерных массивов и фотодетекторов. Таким образом, система на основе света может увеличить размер и сложность модели ChatGPT, а также ускорить ее обучение и запуск.

В своей работе авторы наглядно демонстрируют, что компьютерная система на основе света — это перспективная технология для улучшения мощности и эффективности программ машинного обучения. Она может открыть новые возможности для искусственного интеллекта и его приложений в различных областях.