Facebook M2M-100 (система перевода текста)

2020: Раскрытие исходников Facebook M2M-100 - системы перевода текста

В середине октября 2020 года Facebook раскрыла исходники первой системы машинного обучения, которая переводит текст с одного языка на другой, не полагаясь на промежуточный перевод на английском. Инструмент M2M-100 стал первой многоязычной моделью машинного перевода, которая может работать с любой парой из 100 языков напрямую.

До сих пор многоязычные модели машинного перевода полагались на английский язык как на своего рода посредника из-за широко доступных данных для обучения. Такие модели в большинстве случаев неплохо справляются с заданием, но, когда дело касается более сложных фраз, перевод часто бывает неточен. Facebook заявляет, что M2M-100 лучше сохраняет значение, поскольку переводит напрямую без обращения к английскому подстрочнику.

Facebook раскрыла исходники первой системы машинного обучения, которая переводит текст с одного языка на другой напрямую - M2M-100

Перевод между таким количеством разных языковых пар - непростая задача, поскольку моделям требуется доступ к большому объему высококачественных данных для обучения. Исследователь ИИ в Facebook Анджела Фан (Angela Fan) объяснила, что ее команда создала огромный набор данных, содержащий более 7,5 млрд предложений на 100 различных языках.

Эти данные собирались с помощью инструментов интеллектуального анализа данных с открытым исходным кодом, таких как ccAligned, ccMatrix и LASER, а затем подразделялись на 14 различных языковых групп на основе таких параметров, как лингвистическая классификация, география и культурное сходство. В каждой из этих 14 языковых групп Facebook определил от одного до трех «языков-мостов», которые служат основой для перевода на другие языки этой группы. Команда Фан также использовала технику, известную как «обратный перевод», для создания синтетических данных в дополнение к уже добытым параллельным переводам.Витрина данных НОТА ВИЗОР для налогового мониторинга 2 т

Facebook желает заменить все существующие модели на M2M-100, чтобы улучшить качество переводов в своих приложениях.^[1][2]

Примечания