
Новое ПО устраняет проблему с «шевелёнкой» на фото на микроуровне
Для получения чётких изображений микроскопических объектов необходимо сделать несколько последовательных снимков, а затем с помощью вычислительных алгоритмов восстановить из них одно изображение с высоким разрешением. Результат получается достаточно качественным, если объект съёмки неподвижен. Но если он в динамике, как это часто бывает, например, с микробами, то итоговое изображение всё равно получается размытым или искажённым.
Исследователи из Калифорнийского университета в Беркли нашли способ улучшить разрешение при съёмке подвижных объектов микроскопической величины. В статье об исследовании, опубликованной в издании Nature Methods, они рассказали о новом инструменте вычислительной визуализации под названием neural space-time model (NSTM), что можно перевести как «нейронная модель пространства-времени». Новинка использует небольшую в плане программного кода нейронную сеть для уменьшения так называемых артефактов движения («шевелёнки») и расчёта траекторий движения.
— Руйминг Цао, ведущий автор достижения.
По словам исследователей, NSTM можно совместить с другими методами обработки изображений без необходимости в дополнительном дорогостоящем оборудовании. Что касается эффективности, то новое ПО обеспечивает улучшение по времени на порядок, сказал Цао. Инструмент с открытым исходным кодом позволяет воссоздать один чёткий снимок быстрее на базе немногих кадров. Например, для компьютерной реконструкции хватит 10 или 20 изображений для воссоздания одного со сверхвысоким разрешением.
Участница исследования Лаура Уоллер объяснила, что по сути они с коллегами использовали нейронную сеть для моделирования динамики во времени, чтобы затем реконструировать изображение соответственно быстрее. Получился очень мощный инструмент, потому что им можно ускорить обработку в 10 и более раз, в зависимости от того, сколько изображений использовали изначально как базовые.
NSTM использует машинное обучение, но не требует предварительной подготовки. Это упрощает настройку и предотвращает возможное искажение данных при обучении. Единственные данные, которые использует компьютерная модель, — это фактические кадры, которые она зафиксировала.
В ходе тестирования NSTM показала хорошие результаты для трёх различных технологий микроскопии и фотографии: дифференциально-фазово-контрастной микроскопии, 3D-микроскопии со структурированным освещением и для съёмки диффузорной камерой с подвижным затвором.
Но, как говорится, это только верхушка айсберга. NSTM можно будет использовать для улучшения любого метода компьютерной визуализации по нескольким кадрам, отметила Уоллер. Такая перспектива обещает расширить спектр научных применений, особенно в биологических науках.
Разработанную модель можно подключить к любой вычислительной задаче с динамическими (подвижными) объектами съёмки. Например, использовать при проведении компьютерной томографии, МРТ и других методах наблюдения и диагностики со сверхвысоким разрешением. Результаты использования сканирующего микроскопа также можно улучить благодаря NSTM.
Исследователи предполагают, что когда-нибудь NSTM интегрируют в уже доступные на рынке системы визуализации по принципу простого обновления программного обеспечения.
Тем временем разработчики продолжают совершенствовать инструмент, пытаясь расширить его возможности.
Исследователи из Калифорнийского университета в Беркли нашли способ улучшить разрешение при съёмке подвижных объектов микроскопической величины. В статье об исследовании, опубликованной в издании Nature Methods, они рассказали о новом инструменте вычислительной визуализации под названием neural space-time model (NSTM), что можно перевести как «нейронная модель пространства-времени». Новинка использует небольшую в плане программного кода нейронную сеть для уменьшения так называемых артефактов движения («шевелёнки») и расчёта траекторий движения.
Проблема с визуализацией движущихся целей в том, что алгоритм реконструкции предполагает статичную картинку. NSTM расширяет эти вычислительные методы для динамических образов, моделируя и реконструируя движение объектов в каждый момент времени съёмки. Это уменьшает искажения, вызванные динамикой, позволяя к тому же видеть сверхбыстрые изменения, происходящие с предметом съёмки
— Руйминг Цао, ведущий автор достижения.
По словам исследователей, NSTM можно совместить с другими методами обработки изображений без необходимости в дополнительном дорогостоящем оборудовании. Что касается эффективности, то новое ПО обеспечивает улучшение по времени на порядок, сказал Цао. Инструмент с открытым исходным кодом позволяет воссоздать один чёткий снимок быстрее на базе немногих кадров. Например, для компьютерной реконструкции хватит 10 или 20 изображений для воссоздания одного со сверхвысоким разрешением.
Участница исследования Лаура Уоллер объяснила, что по сути они с коллегами использовали нейронную сеть для моделирования динамики во времени, чтобы затем реконструировать изображение соответственно быстрее. Получился очень мощный инструмент, потому что им можно ускорить обработку в 10 и более раз, в зависимости от того, сколько изображений использовали изначально как базовые.
NSTM использует машинное обучение, но не требует предварительной подготовки. Это упрощает настройку и предотвращает возможное искажение данных при обучении. Единственные данные, которые использует компьютерная модель, — это фактические кадры, которые она зафиксировала.
В ходе тестирования NSTM показала хорошие результаты для трёх различных технологий микроскопии и фотографии: дифференциально-фазово-контрастной микроскопии, 3D-микроскопии со структурированным освещением и для съёмки диффузорной камерой с подвижным затвором.
Но, как говорится, это только верхушка айсберга. NSTM можно будет использовать для улучшения любого метода компьютерной визуализации по нескольким кадрам, отметила Уоллер. Такая перспектива обещает расширить спектр научных применений, особенно в биологических науках.
Разработанную модель можно подключить к любой вычислительной задаче с динамическими (подвижными) объектами съёмки. Например, использовать при проведении компьютерной томографии, МРТ и других методах наблюдения и диагностики со сверхвысоким разрешением. Результаты использования сканирующего микроскопа также можно улучить благодаря NSTM.
Исследователи предполагают, что когда-нибудь NSTM интегрируют в уже доступные на рынке системы визуализации по принципу простого обновления программного обеспечения.
Тем временем разработчики продолжают совершенствовать инструмент, пытаясь расширить его возможности.
- Дмитрий Ладыгин
- youtu.be/EVgLBFVUCow
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас

Тайна пиратского корабля за 138 миллионов долларов раскрыта у берегов Мадагаскара
Шторм, предательство, тонны золота: Как капитан Стервятник похитил сокровища португальской короны....

Вот уже 17 лет власти Египта запрещают археологам исследовать легендарный Лабиринт
Что скрывает Египет: библиотеку Атлантиды или доказательства переписывания истории?...

Третий гость из бездны: NASA официально подтвердило межзвездное происхождение объекта 3I/ATLAS
Скорость в 245 000 км/ч! Астрофизики говорят, гость «прострелит» Солнечную систему как пуля....

Эксперты бьют тревогу: Таяние ледников разбудит вулканы по всему миру
Цепная реакция извержений прокатится от Антарктиды до Камчатки. Выбросы пепла и CO2 сделают климат невыносимым....

Воскрешение монстра: Colossal возвращает к жизни 3,6-метровую птицу-убийцу моа!
Сможет ли 230-килограммовый гигант из Новой Зеландии выжить среди людей?...

Череп ребенка-«пришельца» из Аргентины оказался вполне земным
Эксперты рассказали в подробностях, как могла появиться «инопланетная» форма головы....

«Богатые тоже плачут»: США открыли «новую эру энергетики» — 800 часов в год без света!
Штаты хвастались ИИ, а электросети «горят» даже от чат-ботов… Россия тем временем запускает термояд....