Droidlet (платформа для разработки роботов)

2021: Анонс открытой платформы для создания роботов

В конце июля 2021 года стало известно, что компания Facebook выложила в открытый доступ Droidlet, платформу для создания роботов, которые используют обработку естественного языка и компьютерное зрение для понимания окружающего мира. По словам разработчиков, их решение упрощает интеграцию алгоритмов машинного обучения в роботов, способствуя быстрому созданию прототипов ПО.

На 30 июля 2021 роботов можно заставить пылесосить пол или исполнить танец, но они не способны на большее. Это происходит потому, что они не могут обрабатывать информацию на глубоком уровне ведь они не могут распознать, что такое стул или например, не понимают, что наезд на пролитую банку газировки приведет к еще большему беспорядку.

Droidlet позволяет разработчикам создавать роботов, которые выполняют задачи в реальном мире (справа) или в смоделированных средах

Droidlet - это скорее способ протестировать различные модели компьютерного зрения и обработки естественного языка. Платформа позволяет исследователям создавать системы, способные выполнять задачи в реальном мире или в смоделированных средах, таких как Minecraft или Facebook's Habitat, поддерживая использование одной и той же системы на различных роботах путем замены компонентов по мере их необходимости. Платформа предоставляет приборную панель на которую исследователи могут добавлять виджеты и инструменты отладки и визуализации, а также интерфейс для исправления ошибок и саму аннотацию.

Платформа состоит из набора компонентов, некоторые из них эвристические, а некоторые обучаемые, которые могут быть обучены на статических данных, когда это удобно. Обучение также возможно и на динамических данных.

Платформа Droidlet поддерживает исследователей. В целом, уменьшая трение при интеграции моделей машинного обучения и новых возможностей, как скриптовых, так и обучаемых в их системы, а также предоставляя пользовательский опыт для взаимодействия. По мере того, как все больше исследователей будут работать с платформой они будут улучшать существующие компоненты и добавлять новые, которые другие, в свою очередь, смогут добавлять в свои собственные робототехнические проекты... С Droidlet исследователи робототехники теперь могут воспользоваться значительным прогрессом в области ИИ и создавать машины, способные эффективно реагировать на сложные голосовые команды, - пишет компания Facebook в своем блоге.[1][2]