Новая технология масштабирования AI от Nvidia делает видео с низким разрешением более четким в Chrome и Edge
В последней версии драйвера для видеокарт 30-й и 40-й серии Nvidia представила новую технологию масштабирования на основе искусственного интеллекта, адаптирующую видео низкого качества для мониторов с высоким разрешением. Функция стала доступна в драйвере GeForce 531.18, выпущенном во вторник. В проведенных тестах Nvidia RTX Video Super Resolution (VSR) успешно устраняет пикселизацию и увеличивает разрешение видео в формате 480p и 1080p, проигрываемом через Chrome, с системой на базе мобильного графического процессора 3080 Ti.
По данным Nvidia, 90% потокового видео в Интернете, будь то Netflix, YouTube, Hulu, Twitch или любой другой сервис, в среднем, имеют разрешение от 1080p и ниже. Многие пользователи при переходе на экраны формата 1440p и 4K сталкиваются с проблемой некорректного апскейла. Большинство браузеров масштабируют видео контент до разрешения монитора по универсальному алгоритму, который, зачастую, приводит к артефактам изображения, таким как пикселизация и размытие краев у некоторых объектов.
— Брайан Чой, менеджер по продукции Nvidia Shield TV.
В настоящее время функция работает только с последними версиями Google Chrome и Microsoft Edge, поскольку она только недавно была интегрирована в Chromium. Nvidia уточняет, что еще не тестировала эту функцию с другими браузерами, использующими аналогичный движок. На странице поддержки Nvidia также сообщила, что поддержка VSR для видеокарт 20-й серии появится после рефакторинга некоторых алгоритмов.
При просмотре видео низкого разрешения на 4K мониторе с включенным VSR явные улучшения заметны только в моментах, где движение в кадре не слишком динамично. Внимательный зритель, возможно, заметит отличия и в других ситуациях, но полноценное тестирование, проведенное изданием Tom's Hardware, также показало, что, хотя техника масштабирования Nvidia выгодно отличается от стандартной, лучше всего она работает на видео с медленным движением в кадре, сходных с теми, которые Nvidia использовала для демонстраций. И, конечно, это все еще не сопоставимо с просмотром видео изначально высокого разрешения на 4K-экране.
— Tom's Hardware.
Nvidia VSR имеет четыре уровня подробности обработки, и при тестировании на максимальном уровне с видео в разрешении 1080p, некоторые детали действительно выглядят более детализированными. Так в одном из видео стали заметны более четко очерченные облака, парящие над вершиной горы, а некоторые участки большого водоема избавились от эффекта пикселизации.

В целом, приходится признать, что даже передовая технология апскейла не способна сделать контент в 480p похожим на четкое 4K. В реальных тестах Nvidia VSR слегка уменьшила пикселизацию в видео на YouTube, где бейсболист размахивает битой в замедленном действии, но если вы не станете присматриваться, то вряд ли заметите разницу.
Конечно, качество финального изображения будет варьироваться в зависимости от таких факторов, как характеристики системы и дисплея, а так же параметры исходного видео. Производительность также зависит от того, насколько большой скачок вы совершаете. Масштабирование с 1080p до 4K намного меньше загружает систему, чем работа с низким разрешением. Когда дело дошло до масштабирования видео футбольного матча в 480p, Tom's Hardware сообщили о потере множества небольших деталей на заднем плане.
Стоит отметить, что для пользователей ноутбуков использование VSR может привести к сокращению срока службы батареи, даже если апскейл не используется в настоящий момент. Это связано с тем, что технология, по какой-то причине, автоматически переводит графический процессор в режим повышенной готовности при запуске браузера. Nvidia рекомендует использовать отдельный браузер для просмотра видео с VSR.
Компания также официально предупреждает пользователей, что помимо снижения времени автономной работы, VSR также потребляет ресурсы графического процессора.
— Nvidia.
Чтобы увидеть пример работы технологии, вы можете посмотреть представленный выше официальный демонстрационный ролик, но отнеситесь к нему с долей скептицизма, поскольку он снят Nvidia и, на самом деле, не отражает некоторых нюансов.
Как и другие методы масштабирования на основе ИИ, VSR использует глубокое обучение для создания изображения с высоким разрешением, которое, по его прогнозам, может быть уменьшено, чтобы совпадать с исходной картинкой. Это становится возможно благодаря работе модели нейронной сети, обученной на огромном количестве изображений с различными уровнями сжатия.

— Nvidia.
Nvidia впервые представила AI для увеличения разрешения вместе с Shield TV 2019 года. Тогда технология позволяла масштабировать контент в формате 480p, но ориентировалась на телевизионный формат, и предполагала просмотр с расстояния боле трех метров. Текущее обновление дополняет эту функцию и адаптирует ее для пользователей ПК, которые сидят на близком расстоянии от экрана, что требует более качественной обработки.
По данным Nvidia, 90% потокового видео в Интернете, будь то Netflix, YouTube, Hulu, Twitch или любой другой сервис, в среднем, имеют разрешение от 1080p и ниже. Многие пользователи при переходе на экраны формата 1440p и 4K сталкиваются с проблемой некорректного апскейла. Большинство браузеров масштабируют видео контент до разрешения монитора по универсальному алгоритму, который, зачастую, приводит к артефактам изображения, таким как пикселизация и размытие краев у некоторых объектов.
Nvidia VSR, использует ядра AI и RTX Tensor в настольных и мобильных системах на основе Nvidia 30-й и 40-й серий для повышения резкости, а также устранения пикселизации и артефактов при масштабировании контента до разрешения 4K. Кроме того, технология VSR нацелена на устранение артефактов по краям объектов, проблемы с размытием мелких деталей и полос на плоских участках — при одновременном уменьшении потери изначальной текстуры изображения
— Брайан Чой, менеджер по продукции Nvidia Shield TV.
В настоящее время функция работает только с последними версиями Google Chrome и Microsoft Edge, поскольку она только недавно была интегрирована в Chromium. Nvidia уточняет, что еще не тестировала эту функцию с другими браузерами, использующими аналогичный движок. На странице поддержки Nvidia также сообщила, что поддержка VSR для видеокарт 20-й серии появится после рефакторинга некоторых алгоритмов.
Что мы получили в действительности?
При просмотре видео низкого разрешения на 4K мониторе с включенным VSR явные улучшения заметны только в моментах, где движение в кадре не слишком динамично. Внимательный зритель, возможно, заметит отличия и в других ситуациях, но полноценное тестирование, проведенное изданием Tom's Hardware, также показало, что, хотя техника масштабирования Nvidia выгодно отличается от стандартной, лучше всего она работает на видео с медленным движением в кадре, сходных с теми, которые Nvidia использовала для демонстраций. И, конечно, это все еще не сопоставимо с просмотром видео изначально высокого разрешения на 4K-экране.
Функция апскейлинга Nvidia, пусть и в небольших деталях, выгодно отличается от представленной в Chrome. При сравнении на примере спортивных видео мы не увидели кардинальных отличий, однако, пикселей определенно стало меньше, а резкость общая повысилась. На наш субъективный взгляд, картинка, в целом, стала выглядеть лучше
— Tom's Hardware.
Nvidia VSR имеет четыре уровня подробности обработки, и при тестировании на максимальном уровне с видео в разрешении 1080p, некоторые детали действительно выглядят более детализированными. Так в одном из видео стали заметны более четко очерченные облака, парящие над вершиной горы, а некоторые участки большого водоема избавились от эффекта пикселизации.

В целом, приходится признать, что даже передовая технология апскейла не способна сделать контент в 480p похожим на четкое 4K. В реальных тестах Nvidia VSR слегка уменьшила пикселизацию в видео на YouTube, где бейсболист размахивает битой в замедленном действии, но если вы не станете присматриваться, то вряд ли заметите разницу.
Конечно, качество финального изображения будет варьироваться в зависимости от таких факторов, как характеристики системы и дисплея, а так же параметры исходного видео. Производительность также зависит от того, насколько большой скачок вы совершаете. Масштабирование с 1080p до 4K намного меньше загружает систему, чем работа с низким разрешением. Когда дело дошло до масштабирования видео футбольного матча в 480p, Tom's Hardware сообщили о потере множества небольших деталей на заднем плане.
Стоит отметить, что для пользователей ноутбуков использование VSR может привести к сокращению срока службы батареи, даже если апскейл не используется в настоящий момент. Это связано с тем, что технология, по какой-то причине, автоматически переводит графический процессор в режим повышенной готовности при запуске браузера. Nvidia рекомендует использовать отдельный браузер для просмотра видео с VSR.
Компания также официально предупреждает пользователей, что помимо снижения времени автономной работы, VSR также потребляет ресурсы графического процессора.
Возможно небольшое снижение производительности при параллельной игре или использовании творческих приложений предполагающих интенсивную нагрузку на графический процессор
— Nvidia.
Чтобы увидеть пример работы технологии, вы можете посмотреть представленный выше официальный демонстрационный ролик, но отнеситесь к нему с долей скептицизма, поскольку он снят Nvidia и, на самом деле, не отражает некоторых нюансов.
Как это работает?
Как и другие методы масштабирования на основе ИИ, VSR использует глубокое обучение для создания изображения с высоким разрешением, которое, по его прогнозам, может быть уменьшено, чтобы совпадать с исходной картинкой. Это становится возможно благодаря работе модели нейронной сети, обученной на огромном количестве изображений с различными уровнями сжатия.

Сеть анализирует кадр с более низким разрешением и прогнозирует то, как будет выглядеть изображение при целевом разрешении. Просчитанное изображение затем накладывается поверх кадра полученного с использованием классического метода апскейла, исправляя артефакты и повышая резкость по краям объектов
— Nvidia.
Nvidia впервые представила AI для увеличения разрешения вместе с Shield TV 2019 года. Тогда технология позволяла масштабировать контент в формате 480p, но ориентировалась на телевизионный формат, и предполагала просмотр с расстояния боле трех метров. Текущее обновление дополняет эту функцию и адаптирует ее для пользователей ПК, которые сидят на близком расстоянии от экрана, что требует более качественной обработки.
- Алексей Павлов
- nvidia.com
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...
Запретный остров у берегов Исландии: суша, появившаяся в 1963 году, до сих пор закрыта почти для всех
Но ученым надо поторопиться, уникальный объект исчезает в буквальном смысле на глазах...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Как же на самом деле умерла Клеопатра: почему даже древние историки не смогли прийти к согласию в этом вопросе
Скорее всего, историю об укусе змеи запустил лично император Октавиан, чтобы опорочить египетскую царицу...
Прорыв в берестяных грамотах: 445 неизвестных слов, эффект Лукерьи, реальный русский язык XI–XV веков
Поразительно, но произношение 900-летней давности до сих пор присутствует в нашем языке...
Метеорит и пришельцы ни при чем: российский геолог объяснил происхождение аномалии в сибирской тайге
Кольцевую структуру видно даже со спутника, но добраться до нее крайне сложно...
Америка проигрывает болезни, которую когда-то победила с большим трудом
Положение США усугубляют действия президента Трампа и его чиновников...
Древние деревья помогли раскрыть дело 3500-летней давности: когда пал Вавилон?
Ученые до последнего момента не знали этой даты, потому что в великом городе не было… нормального календаря...
Неожиданный поворот в деле таинственного астероида 1998 KY26: он может быть… потерянным советским зондом
В этом уверен американский астрофизик Аве Лоеб. Какие доказательства предлагает известный ученый?...
Верблюды-вампиры бродили по Америке 13 миллионов лет назад: зачем им вообще понадобились такие жуткие клыки
Ученые говорят: это была эпоха, когда североамериканским континентом правили верблюды...
Не НЛО, но что тогда: ученая объяснила появление светящихся столбов над Барнаулом
Что интересно, это уникальное явление можно увидеть не только зимой и не только в Сибири...
200-летний секрет казненной королевы: почему Мария-Антуанетта была уже обречена на скорую и мучительную гибель
Одежда рассказала не только о последних днях королевы, но и открыла судьбу 9-летнего французского принца...
Куда бить по астероиду, чтобы спасти Землю: ученые рассчитали идеальный ядерный выстрел
Почему раньше так не умели и насколько при выстреле важна форма космического тела...
Эти странные деревья изменили облик всей планеты: в Англии найден самый древний лес в истории
Поразительно, но Земля стала другой всего за 4 миллиона лет. И это событие старше колец Сатурна...