Программа находит и скачивает на YouTube ролики по запросам пользователей
Ученые Корнелльского и Стэнфордского университетов разработали платформу, которая самостоятельно составляет пошаговые инструкции на основе видеороликов, опубликованных на YouTube.
Ученые Корнелльского и Стэнфордского университетов разработали платформу RoboWatch, которая самостоятельно составляет пошаговые инструкции на основе видеороликов, опубликованных на YouTube.
Для составления инструкций исследователи взяли сто наиболее популярных запросов в энциклопедии WikiHow, из которых выбрали те, которые относятся к взаимодействию с физическими объектами. В результате авторы отобрали семнадцать запросов, четырнадцать из которых относились к приготовлению пищи. После этого программа самостоятельно по данным запросам нашла на YouTube и скачала ролики и субтитры на английском языке, если они были, пишет издание N+1.
После загрузки роликов система разбивает их на кадры и ищет в них общие предметы в кадре и ключевые слова в субтитрах, по которым определяет необходимые для процесса шаги. После этого алгоритм составляет пошаговую инструкцию на основании полученных шагов, а при помощи субтитров генерирует к каждому этапу текстовое описание.
Получившиеся в результате обработки видеороликов инструкции можно передавать непосредственно для использования роботами, считают исследователи. Например, они составили при помощи RoboWatch инструкции по прочистке засорившегося слива, по завязыванию галстука, по приготовлению омлета и молочного коктейля.
Подробнее о проекте RoboWatch можно прочитать на сайте Корнелльского университета.
Изображение: news.cornell.edu
