Ученые создали алгоритм, восстанавливающий видео по теням и мерцанию

Нейросеть восстановила видео по теням и мерцанию на вентиляторе. При воспроизведении видео на проекторе свет от него падает на стены и создает на них изменения яркости и тени.

Американские разработчики создали алгоритм, который по этим световым эффектам воссоздает исходное видео.

В частности, ученые из Массачусетского технологического института создали алгоритм, позволяющий получать достаточно качественный ролик по видеозаписи изменения света и цвета на других объектах.

Алгоритм состоит из двух сверточных нейросетей, каждая из которых формирует свою матрицу: матрицу перехода или матрицу, соответствующую исходному изображению. Авторы использовали подход, предложенный ранее российско-британской группой исследователей. Кратко, он заключается в том, что для некоторых задач, связанных с изображением (например, подавление шума или увеличение разрешения), нейросеть со случайно инициированными параметрами может давать отличные результаты без обучения на датасетах, пишет портал «N+1».