5 мар 2023 53

Новая технология масштабирования AI от Nvidia делает видео с низким разрешением более четким в Chrome и Edge

В последней версии драйвера для видеокарт 30-й и 40-й серии Nvidia представила новую технологию масштабирования на основе искусственного интеллекта, адаптирующую видео низкого качества для мониторов с высоким разрешением. Функция стала доступна в драйвере GeForce 531.18, выпущенном во вторник. В проведенных тестах Nvidia RTX Video Super Resolution (VSR) успешно устраняет пикселизацию и увеличивает разрешение видео в формате 480p и 1080p, проигрываемом через Chrome, с системой на базе мобильного графического процессора 3080 Ti.

По данным Nvidia, 90% потокового видео в Интернете, будь то Netflix, YouTube, Hulu, Twitch или любой другой сервис, в среднем, имеют разрешение от 1080p и ниже. Многие пользователи при переходе на экраны формата 1440p и 4K сталкиваются с проблемой некорректного апскейла. Большинство браузеров масштабируют видео контент до разрешения монитора по универсальному алгоритму, который, зачастую, приводит к артефактам изображения, таким как пикселизация и размытие краев у некоторых объектов.

Nvidia VSR, использует ядра AI и RTX Tensor в настольных и мобильных системах на основе Nvidia 30-й и 40-й серий для повышения резкости, а также устранения пикселизации и артефактов при масштабировании контента до разрешения 4K. Кроме того, технология VSR нацелена на устранение артефактов по краям объектов, проблемы с размытием мелких деталей и полос на плоских участках — при одновременном уменьшении потери изначальной текстуры изображения

— Брайан Чой, менеджер по продукции Nvidia Shield TV.

В настоящее время функция работает только с последними версиями Google Chrome и Microsoft Edge, поскольку она только недавно была интегрирована в Chromium. Nvidia уточняет, что еще не тестировала эту функцию с другими браузерами, использующими аналогичный движок. На странице поддержки Nvidia также сообщила, что поддержка VSR для видеокарт 20-й серии появится после рефакторинга некоторых алгоритмов.

Что мы получили в действительности?

При просмотре видео низкого разрешения на 4K мониторе с включенным VSR явные улучшения заметны только в моментах, где движение в кадре не слишком динамично. Внимательный зритель, возможно, заметит отличия и в других ситуациях, но полноценное тестирование, проведенное изданием Tom's Hardware, также показало, что, хотя техника масштабирования Nvidia выгодно отличается от стандартной, лучше всего она работает на видео с медленным движением в кадре, сходных с теми, которые Nvidia использовала для демонстраций. И, конечно, это все еще не сопоставимо с просмотром видео изначально высокого разрешения на 4K-экране.

Функция апскейлинга Nvidia, пусть и в небольших деталях, выгодно отличается от представленной в Chrome. При сравнении на примере спортивных видео мы не увидели кардинальных отличий, однако, пикселей определенно стало меньше, а резкость общая повысилась. На наш субъективный взгляд, картинка, в целом, стала выглядеть лучше

— Tom's Hardware.

Nvidia VSR имеет четыре уровня подробности обработки, и при тестировании на максимальном уровне с видео в разрешении 1080p, некоторые детали действительно выглядят более детализированными. Так в одном из видео стали заметны более четко очерченные облака, парящие над вершиной горы, а некоторые участки большого водоема избавились от эффекта пикселизации.

В целом, приходится признать, что даже передовая технология апскейла не способна сделать контент в 480p похожим на четкое 4K. В реальных тестах Nvidia VSR слегка уменьшила пикселизацию в видео на YouTube, где бейсболист размахивает битой в замедленном действии, но если вы не станете присматриваться, то вряд ли заметите разницу.

Конечно, качество финального изображения будет варьироваться в зависимости от таких факторов, как характеристики системы и дисплея, а так же параметры исходного видео. Производительность также зависит от того, насколько большой скачок вы совершаете. Масштабирование с 1080p до 4K намного меньше загружает систему, чем работа с низким разрешением. Когда дело дошло до масштабирования видео футбольного матча в 480p, Tom's Hardware сообщили о потере множества небольших деталей на заднем плане.

Стоит отметить, что для пользователей ноутбуков использование VSR может привести к сокращению срока службы батареи, даже если апскейл не используется в настоящий момент. Это связано с тем, что технология, по какой-то причине, автоматически переводит графический процессор в режим повышенной готовности при запуске браузера. Nvidia рекомендует использовать отдельный браузер для просмотра видео с VSR.

Компания также официально предупреждает пользователей, что помимо снижения времени автономной работы, VSR также потребляет ресурсы графического процессора.

Возможно небольшое снижение производительности при параллельной игре или использовании творческих приложений предполагающих интенсивную нагрузку на графический процессор

— Nvidia.

Чтобы увидеть пример работы технологии, вы можете посмотреть представленный выше официальный демонстрационный ролик, но отнеситесь к нему с долей скептицизма, поскольку он снят Nvidia и, на самом деле, не отражает некоторых нюансов.

Как это работает?

Как и другие методы масштабирования на основе ИИ, VSR использует глубокое обучение для создания изображения с высоким разрешением, которое, по его прогнозам, может быть уменьшено, чтобы совпадать с исходной картинкой. Это становится возможно благодаря работе модели нейронной сети, обученной на огромном количестве изображений с различными уровнями сжатия.

Сеть анализирует кадр с более низким разрешением и прогнозирует то, как будет выглядеть изображение при целевом разрешении. Просчитанное изображение затем накладывается поверх кадра полученного с использованием классического метода апскейла, исправляя артефакты и повышая резкость по краям объектов

— Nvidia.

Nvidia впервые представила AI для увеличения разрешения вместе с Shield TV 2019 года. Тогда технология позволяла масштабировать контент в формате 480p, но ориентировалась на телевизионный формат, и предполагала просмотр с расстояния боле трех метров. Текущее обновление дополняет эту функцию и адаптирует ее для пользователей ПК, которые сидят на близком расстоянии от экрана, что требует более качественной обработки.