Команда разместила отчет о проделанной работе на платформе научных публикаций arXive.
Новая нейросеть сможет генерировать готовые ролики в высоком разрешении в соответствии с короткими запросами вида «два енота читают книгу». Google описывает технологию, лежащую в основе нового инструмента, как «революционную архитектуру пространства-времени U-Net». Она была разработана для создания видео за один сеанс работы ИИ-модели.
Инструмент может как создавать видеоролики с нуля, так и редактировать уже готовые клипы в соответствии с запросами. Также Lumiere способен анимировать статичное изображение.
В Google пока не уточнили, планируют ли они сделать Lumiere общедоступным сервисом, и если да, то как скоро. Это может быть связано с юридическими последствиями, которые возникнут из-за генерации в Lumiere видеороликов с нарушением законов об авторском праве.
