фото показано с : theuk.one

Соответствующую статью опубликовали на ресурсе препринтов arXiv. Отмечается, что разработчики создали алгоритм, который может переводить текст жестовой речью. В частности нейросеть отдельно учится качественно рисовать кисти рук, потому что именно они важны для точного сурдоперевода. “Далее текст проходит через кодирование и превращается в скелетную модель тела, которая показывает текст жестами. После этого последовательность поз кодируется в вектор, а он объединяется с изображением человека, которое нужно анимировать. Тогда последовательность поз передается на нейросеть U-Net, которая превращает смену поз в  реалистичное видео “, – говорится в сообщении. Как отметили разработчики, созданный алгоритм также совершенствует свои навыки. Он анализирует, насколько удачно создал скелетную модель тела, и делает ее лучшей в следующий раз. “Работу нейросети проверили на записях работы переводчиков жестового немецкого языка. Оказалось, что алгоритм достиг значительного сходства с изображением жестов сурдопереводчика, в частности алгоритм точно воспроизводил движения кистей”, – говорится в сообщении. Следите за событиями в Украине и мире вместе с Эспрессо! Подписывайтесь на Telegram канал: https://t.me/espresotb источник »

55 +