Компьютерщики придумали скоростную камеру по примеру человеческого глаза

Компьютерщики из Университета Мэриленда, США, изобрели механизм камеры, который улучшает способность роботов «видеть» окружающий мир и реагировать на него. Вдохновлённое человеческим глазом, инновационное устройство имитирует непроизвольные движения, с помощью которых орган зрения поддерживает чёткость и стабильность изображения.


Для понимания идеи следует упомянуть саккады (от французского saccade, то есть «рывок», «толчок») — это быстрые движения глаз, происходящие одновременно и в одном направлении. Оценивают саккады с помощью аппаратуры, которая чертит электроокулограмму, кривую в виде вертикальных прямых тонких линий. Специалисты нередко применяют термин «микросаккады» к быстрым движениям глаз, угловая амплитуда которых не превышает одного градуса.

Вот почему изобретатели назвали созданный образец «событийная камера с искусственными микросаккадами», сокращенно — AMI-EV. Соавтор изобретения Ботао Хе рассказал, что событийные камеры — это относительно новая технология, которая лучше отслеживает движущиеся объекты, чем традиционные камеры. Но с помощью прежних моделей событийных камер было трудно получать чёткие изображения, когда в кадре возникало движение.

Это также большая проблема для роботов и беспилотного автотранспорта, потому что для них важны чёткие изображения, чтобы правильно реагировать на окружающее. Вот почему Хэ с коллегами обратили внимание на свойственные живому зрению микросаккады, краткие и быстрые движения глаз. Они совершаются непроизвольно, когда человек пытается сосредоточить взгляд. Благодаря этим мельчайшим, но непрерывным движениям человеческий глаз может подолгу фокусироваться на объекте и его особенностях.

Исследователи решили, что такие движения можно использовать для получения чётких изображений без размытости, вызванной «шевелёнкой» в кадре. И успешно воспроизвели микросаккады, вставив вращающуюся призму внутрь AMI-EV. Тем самым можно перенаправлять лучи света, попадающие в объектив. Непрерывное вращение призмы имитирует микросаккады в человеческом глазу, позволяя камере стабилизировать черты воспринимаемого объекта точно так же, как это сделал бы человек. Затем учёные разработали программное обеспечение, чтобы скорректировать эффекты от движений призмы в AMI-EV, и таким образом сформировали стабильные изображения из мельтешения света.

Соавтор исследования Яннис Алоймонос, профессор компьютерных наук, рассматривает достигнутое как большой шаг вперёд в области роботизированного зрения. Он объяснил, что наши глаза словно бы делают снимки окружающего мира, и эти снимки отправляются в наш мозг, где изображения анализируются. У роботов камера заменяет глаза, а компьютер — мозг, но суть та же. Алоймонос добавил, что разработанная система съёмки может решить множество специфических проблем, например, помочь беспилотному автомобилю определить, что на дороге перед ним оказался человек.

Исследователи считают, что их инновация может иметь значение за пределами робототехники. В любых отраслях, где нужен быстрый и точный захват изображений, а также распознавание объектов, постоянно ищут способы улучшить специализированные камеры. Так что AMI-EV может стать ключевым решением многих проблем.

Соавтор исследования Корнелия Фермюллер пояснила, что среди явных преимуществ технологии — превосходная производительность при недостатках освещения, высокая скорость срабатывания и низкое энергопотребление. Перечисленные функции могли бы идеально подойти, например, для приложений виртуальной реальности, где необходима достаточная производительность с учётом быстрых движений головы и тела.

При тестировании AMI-EV смогла точно фиксировать движения в различных условиях, например, позволила контролировать человеческий пульс и идентифицировать быстро перемещающиеся фигуры. Исследователи также обнаружили, что AMI-EV позволяет воспринимать движение со скоростью в десятки тысяч кадров в секунду, превосходя большинство современных доступных на рынке камер, которые снимают со скоростью от 30 до 1000 кадров в секунду.

Более чёткая запись всего подвижного может оказаться ключевым преимуществом во всём, что качается изображений: для более эффектной дополненной реальности, при мониторинге безопасности и ради повышения качества снимков в космосе.