Новое ПО устраняет проблему с «шевелёнкой» на фото на микроуровне

Для получения чётких изображений микроскопических объектов необходимо сделать несколько последовательных снимков, а затем с помощью вычислительных алгоритмов восстановить из них одно изображение с высоким разрешением. Результат получается достаточно качественным, если объект съёмки неподвижен. Но если он в динамике, как это часто бывает, например, с микробами, то итоговое изображение всё равно получается размытым или искажённым.

Исследователи из Калифорнийского университета в Беркли нашли способ улучшить разрешение при съёмке подвижных объектов микроскопической величины. В статье об исследовании, опубликованной в издании Nature Methods, они рассказали о новом инструменте вычислительной визуализации под названием neural space-time model (NSTM), что можно перевести как «нейронная модель пространства-времени». Новинка использует небольшую в плане программного кода нейронную сеть для уменьшения так называемых артефактов движения («шевелёнки») и расчёта траекторий движения.


— Руйминг Цао, ведущий автор достижения.

По словам исследователей, NSTM можно совместить с другими методами обработки изображений без необходимости в дополнительном дорогостоящем оборудовании. Что касается эффективности, то новое ПО обеспечивает улучшение по времени на порядок, сказал Цао. Инструмент с открытым исходным кодом позволяет воссоздать один чёткий снимок быстрее на базе немногих кадров. Например, для компьютерной реконструкции хватит 10 или 20 изображений для воссоздания одного со сверхвысоким разрешением.

Участница исследования Лаура Уоллер объяснила, что по сути они с коллегами использовали нейронную сеть для моделирования динамики во времени, чтобы затем реконструировать изображение соответственно быстрее. Получился очень мощный инструмент, потому что им можно ускорить обработку в 10 и более раз, в зависимости от того, сколько изображений использовали изначально как базовые.

NSTM использует машинное обучение, но не требует предварительной подготовки. Это упрощает настройку и предотвращает возможное искажение данных при обучении. Единственные данные, которые использует компьютерная модель, — это фактические кадры, которые она зафиксировала.

В ходе тестирования NSTM показала хорошие результаты для трёх различных технологий микроскопии и фотографии: дифференциально-фазово-контрастной микроскопии, 3D-микроскопии со структурированным освещением и для съёмки диффузорной камерой с подвижным затвором.

Но, как говорится, это только верхушка айсберга. NSTM можно будет использовать для улучшения любого метода компьютерной визуализации по нескольким кадрам, отметила Уоллер. Такая перспектива обещает расширить спектр научных применений, особенно в биологических науках.

Разработанную модель можно подключить к любой вычислительной задаче с динамическими (подвижными) объектами съёмки. Например, использовать при проведении компьютерной томографии, МРТ и других методах наблюдения и диагностики со сверхвысоким разрешением. Результаты использования сканирующего микроскопа также можно улучить благодаря NSTM.

Исследователи предполагают, что когда-нибудь NSTM интегрируют в уже доступные на рынке системы визуализации по принципу простого обновления программного обеспечения.

Тем временем разработчики продолжают совершенствовать инструмент, пытаясь расширить его возможности.