Нейросеть обучили самостоятельно дополнять изображения
Британский стартап Magic Pony Technology говорит, что создал революционную разработку «моделирования» изображений, которая существенно повышает разрешение фотографий и видео в настоящем времени.
Обученная нейросеть не просто интерполирует пиксели, а додаёт недостающие подробности. Разработчики говорят, что так возможно машинально генерировать элементы для реалистичных виртуальных миров, к примеру.
Один из примеров работы нейросети приведён выше — лицо храбреца компьютерной игры, изначально очень сильно пикселизированное.
Пример работы нейросети
Второй пример продемонстрирован в маленьком видеоролике. Слева — уникальный видеопоток игры, справа — улучшенная графика.
Как пишет издание MIT Technology Review, при обучении нейросети исследователи генерировали картинки низкого качества из картин большого разрешения — и подавали эти пары изображений на вход нейросети. В итоге, нейросеть неспешно обучилась обнаруживать закономерности и проделывать обратную операцию. Совокупности не требуются размеченные вручную образцы.
Изображение справа сгенерировано на базе примера слева
Сооснователь компании Роб Бишоп говорит, что они на данный момент ведут переговоры с несколькими большими операторами потокового вещания о лицензировании разработки.
В будущем разработку возможно интегрировать кроме того на сотовых телефонах, каковые также неспешно оснащаются стремительными GPU. Тут программа может действенно повышать уровень качества фотографий, сделанных в нехороших условиях освещения либо с низким разрешением матрицы.
О приложении генерации ландшафтов в виртуальных мирах уже говорилось выше. Ещё одно потенциальное использование нейросети — в форматах сжатия изображений и видео.
Но, для свободных форматов нужно будет создавать вольный аналог, по причине того, что тут употребляется проприетарная разработка. Компания Magic Pony Technology подала на оформление более 20 патентов.
