Компания facebook провела обучение нейростети повторять движения музыкантов по аудиозаписи
Эксперты компании Facebook научили нейронную сеть создавать модели перемещений музыкантов. Эта разработка была представлена на протяжении проведения конференции CVPR.
Как вычисляют программисты Facebook, посвятившие себя обучению нейросети, новая разработка представлена лишь стартовой точкой в будущем изучении дешёвых музыкальных инструментов, причем с уровня новичка. Сеть может моделировать действия музыкантов по воспроизводимой аудиозаписи, в этот самый момент же формирует проекцию действий на аватаре, что повторяет музыканта.
Суть содержится в предоставлении возможности обучающимся, совершенно верно воображать положение рук при игре на том либо другом инструменте. LSTM-нейросеть Facebook способна не только процессу обучения, но и может запоминать всевозможные связи на долговременный период.
Первые опыты проводили на записях пианино и скрипки, каковые были забраны из вольно дешёвых источников интернета. Умение сети совершенно верно и пропорционально фиксировать размещение рук исполнителя на привычном инструменте, разрешило ей удачно выстроить форму скелетной модели. Благодаря таковой возможности, программа совершенно верно нашла зависимость между звуком автора и движениями, конечно параллельно занималась проектированием предсказаний.
