Специалисты из двух вузов, UCM и UC3M, разработали компьютерную модель, основанную на глубоком обучении. Её цель — позволить роботу рисовать подобно человеку. Статью о достижении опубликовали в издании Cognitive Systems Research. Соавтор проекта Рауль Фернандес-Фернандес рассказал, что идея их коллектива состояла в создании рисунков именно «рукой» машины.
Фернандес-Фернандес и его коллеги несколько лет посвятили разработке эффективных алгоритмов для планирования действий «творческих» роботов. Достигнутый в итоге успех основан на двух предыдущих проектах этой же команды испанских робототехников. Первый из них — исследование программного обеспечения «Quick Draw! Dataset», предназначенного для обучения роботов-художников. Вторую работу они посвятили ранее глубокому обучению устройств, в которые пытались вложить сложные функции, в том числе «осознание» эмоций.
Новая роботизированная система начертания эскизов основана на фреймворке глубокого обучения. Фернандес-Фернандес и его коллеги усовершенствовали смежную разработку другой команды исследователей, чтобы тщательно планировать действия роботов, позволяя им выполнять сложные ручные задачи в широком диапазоне сред.
Фернандес-Фернандес объяснил, что нейронная сеть разделена на три части, которые можно рассматривать как три разные, но взаимосвязанные, сети. Главная из них работает с высокоуровневыми элементами всего изображения. Локальная сеть извлекает низкоуровневые элементы вокруг. И выходная сеть принимает в качестве вводных данных объекты, извлечённые из главной и локальной сетей для рисования.
Фернандес-Фернандес и его сотрудники также заливали данные в свою модель по двум дополнительным каналам, которые предоставляют информацию о расстояниях и о положении инструмента относительно холста. В совокупности все эти функции помогли обучить собственную сеть, улучшив её навыки создания эскизов. Чтобы ещё больше приблизить графические способности к человеческим, исследователи также внедрили этап предварительной подготовки, основанный на так называемом генераторе случайных штрихов.
На пути к созданию эскизов с помощью физического робота исследователям пришлось также разработать стратегию преобразования расстояний и положений на изображениях, сгенерированных ИИ, на холст в реальном мире. Для достижения этой цели они создали виртуальное пространство внутри физического холста, в пределах которого робот мог перемещаться и непосредственно интерпретировать координаты рисунка, заданные моделью.
Фернандес-Фернандес отметил, что в своей работе исследователи убедились, что этап управления приложениями для рисования роботов может быть улучшен благодаря алгоритмам.
И добавил, что они с коллегами надеются, что их модель вдохновит других на дальнейшие исследования.
