Интерфейс на основе пера , называемый Notate, позволяет пользователям вычислительных цифровых блокнотов открывать холсты для рисования и рукописные диаграммы в строках традиционного оцифрованного компьютерного кода.
Основанный на модели глубокого обучения интерфейс объединяет контексты рукописного и текстового программирования: обозначения на рукописной диаграмме могут ссылаться на текстовый код и наоборот. Например, Notate распознает написанные от руки символы программирования, такие как «n», а затем связывает их с их машинописными эквивалентами.
Подобная система незаменима для изучения данных, особенно для построения графиков и диаграмм, которые затем взаимодействуют с текстовым кодом. Наша работа показывает, что нынешняя инфраструктура программирования на самом деле сдерживает нас. Люди готовы к такого рода фичам, но разработчикам интерфейсов для набора кода необходимо принять это к сведению и поддерживать изображения и графические интерфейсы внутри кода
— Ян Аравджо докторант в области информатики.
