22 мар 2023 117

Новый вид микроскопа объединил видеозаписи с десятков камер

Новый вид микроскопа, который объединяет видеозаписи с десятков небольших камер, может предоставить исследователям 3D-изображения их экспериментов. Независимо от того, записывает ли устройство 3D-фильмы о десятках свободно плавающих рыбок данио или о брачной активности плодовых мушек с детализацией почти на клеточном уровне в очень широком поле зрения, оно открывает новые возможности для исследователей по всему миру.

Объединение видеозаписей с десятков камер обеспечивает уникальное 3D-изображение экспериментов с микроскопическими деталями.

Когда двое аспирантов сделали первый снимок с помощью своего собранного из множества деталей микроскопа, он получился лучше, чем они надеялись. Затем их коллеги, изучающие рыбок данио, впервые использовали его и были поражены. Новое оборудование сразу выявило новые особенности поведения, рассказал Рорк Хорстмейер, доцент кафедры биомедицинской инженерии Дюкского университета.

На следующий день двое аспирантов продемонстрировали принцип работы устройства на детской книге-головоломке. Объединив 24 камеры смартфонов на единой платформе и сшив их изображения вместе, они создали единую камеру, способную делать гигапиксельные снимки на площади размером с лист бумаги.

Спустя шесть лет доработок исследователи сделали неожиданное открытие. Усовершенствование процесса одновременного соединения десятков отдельных камер с субпиксельным разрешением позволило им также видеть высоту объектов.

Это похоже на человеческое зрение. Если вы объединяете несколько точек обзора вместе, как это делают ваши два глаза, то видите объекты под разными углами

— Рорк Хорстмейер, доцент кафедры биомедицинской инженерии Дюкского университета.

В статье, опубликованной онлайн в журнале Nature Photonics («Фотоника природы»), Хорстмейер с коллегами описали возможности своего изобретения Multi Camera Array Microscope (MCAM), то есть «Многокамерный матричный микроскоп». Последняя версия MCAM включает 54 объектива с более высокой скоростью и разрешением, чем прототип.

Однако параллельная конструкция MCAM создает новые проблемы с обработкой данных, поскольку запись продолжительностью в несколько минут — это более терабайта данных.

Мы разработали новые алгоритмы, которые могут эффективно обрабатывать эти чрезвычайно большие видеоданные. Наши алгоритмы сочетают физику с машинным обучением, чтобы объединить видеопотоки со всех камер и восстановить 3D-поведенческую информацию в пространстве и времени. Мы разместили открытый исходный код на GitHub, чтобы его мог попробовать каждый

— Кевин Чжоу, научный сотрудник лаборатории Хорстмейера и ведущий автор статьи.

Хорстмейер добавил, что помимо отслеживания сообществ мелких животных, оборудование также позволит проводить более масштабные автоматические параллельные исследования. Например, микроскоп может наблюдать за планшетом с 384 лунками, заполненными различными органоидами, для тестирования фармацевтических реакций. При этом он будет регистрировать клеточные реакции в каждой лунке и по отдельности отмечать любые интересные результаты.

Вместе с соавтором Марком Харфушем, который был вдохновителем их первого изображения, Хорстмейер основал стартап-компанию Ramona Optics для выхода на рынок. Один из первых клиентов, MIRA Imaging, использует технологию для фиксации уникальных черт произведений изобразительного искусства, предметов коллекционирования и роскоши для защиты от подделки и мошенничества.