Новая эра оптических вычислений
Система на основе света, представленная в журнале Nature Photonics в этом месяце, использует сотни микронных лазеров для выполнения вычислений на основе движения света, а не электронов. С помощью этой системы команда сообщает о более чем 100-кратном увеличении энергоэффективности и 25-кратном увеличении вычислительной плотности, то есть меры мощности системы, по сравнению с передовыми цифровыми компьютерами для машинного обучения.
В статье авторы утверждают, что новая технология открывает путь к крупномасштабным оптоэлектронным процессорам для ускорения задач машинного обучения. Другими словами, мобильные телефоны и другие небольшие устройства в будущем смогут запускать программы, которые в настоящее время могут быть запущены только в крупных центрах обработки данных.
Создание такой системы на оптической основе стало возможным благодаря использованию лазерных массивов, которые широко используются в современной технологии, например, для распознавания лиц в сотовых телефонах и передачи данных.
Мы ожидаем, что она может быть масштабирована для коммерческого использования в течение нескольких лет. Например, лазерные массивы, задействованные в этом проекте, широко используются в распознавании лиц сотовых телефонов и передаче данных
— Зайджун Чен, первый автор работы, доцент Университета Южной Калифорнии.
ChatGPT ограничен своим размером мощностью современных суперкомпьютеров. Это просто не экономически выгодно обучать модели, которые будут больше. Наша новая технология может сделать возможным переход к моделям машинного обучения, которые иначе были бы недостижимы в ближайшем будущем. Мы не знаем, какие возможности будет иметь следующее поколение ChatGPT, если оно будет в 100 раз мощнее, но это область открытий, которую может позволить такая технология
— Дирк Энглунд, доцент кафедры электротехники и компьютерных наук MIT и руководитель работы.
Как работает вычислительная система на основе света и почему она так эффективна для машинного обучения?
Оптическая вычислительная система состоит из двух основных компонентов: лазерных массивов и фотодетекторов. Лазерные массивы — это наборы микронных лазеров, которые могут генерировать и модулировать свет разных цветов и интенсивностей. Фотодетекторы — это устройства, которые могут преобразовывать свет в электрические сигналы.
Комбинируя эти компоненты, система может выполнять различные математические операции, необходимые для машинного обучения, такие как сложение, умножение, скалярное произведение и матричное умножение.
Преимущество системы на основе света заключается в том, что она может параллельно обрабатывать большое количество данных с высокой скоростью и низким энергопотреблением. Свет может перемещаться быстрее, чем электроны, и не подвержен тепловым потерям или электромагнитным помехам. Кроме того, свет может нести больше информации, чем электрический сигнал, поскольку он может иметь разные длины волн, фазы и поляризации. Это позволяет системе на основе света использовать меньше ресурсов для выполнения тех же задач, что и цифровые компьютеры.
Система на основе света может быть применена к различным типам программ машинного обучения, в том числе и, к таким как ChatGPT. ChatGPT основан на архитектуре нейронной сети, называемой трансформером, которая состоит из множества слоев обработки данных.
Каждый слой трансформера использует матричные операции для извлечения признаков из входных данных и генерации выходных данных. Система на основе света может эффективно выполнять эти операции с помощью лазерных массивов и фотодетекторов. Таким образом, система на основе света может увеличить размер и сложность модели ChatGPT, а также ускорить ее обучение и запуск.
В своей работе авторы наглядно демонстрируют, что компьютерная система на основе света — это перспективная технология для улучшения мощности и эффективности программ машинного обучения. Она может открыть новые возможности для искусственного интеллекта и его приложений в различных областях.
