ru.espreso.tv:
Соответствующую статью опубликовали на ресурсе препринтов arXiv. Отмечается, что разработчики создали алгоритм, который может переводить текст жестовой речью.
В частности нейросеть отдельно учится качественно рисовать кисти рук, потому что именно они важны для точного сурдоперевода. "Далее текст проходит через кодирование и превращается в скелетную модель тела, которая показывает текст жестами.
После этого последовательность поз кодируется в вектор, а он объединяется с изображением человека, которое нужно анимировать.
Тогда последовательность поз передается на нейросеть U-Net, которая превращает смену поз в реалистичное видео ", - говорится в сообщении.
Набирает популярность:
Нажмите, чтобы поделиться новостью