Cognitive Translator - система машинного перевода текста нового поколения

Источник материала:

Компания Cognitive Technologies представила систему машинного перевода текстов нового поколения Cognitive Translator, в основу которой легло более глубокое представление знания о языке. Процесс разработки системы занял около 60 человеко/лет и длился более 8 лет.

Проект по созданию данной версии Cognitive Translator начался в 2000 году. Его участниками, помимо специалистов Cognitive Technologies, стала группа профессиональных лингвистов из МГУ, Института Русского Языка РАН и других организаций. Группой были разработаны уникальные алгоритмы синтаксического разбора и правила машинного перевода. На их основе была построена новая более совершенная — структурная модель представления знания о языке, которая включает, помимо описания морфологии и синтаксиса, еще и элементы анализа структурных связей. За счет этого система добивается глубокого «понимания» текста, и даже претендует на разрешение смысловых неоднозначностей («ключ» дверной и «ключ» - источник воды).

Принципы построения модели языка, заложенные в Cognitive Translator, основаны на технологии анализа — понимания текста, что позволило в рамках исследовательского проекта при участии относительно небольшой группы разработчиков создать систему, дающую качество перевода, сравнимое с современными промышленными системами. Стоит отметить, что существующие сегодня на рынке системы машинного перевода используют подход, разработанный еще в 70-х годах прошлого века, подразумевающий непрерывное ручное наполнения базы словоформ. Для достижения высокого качества перевода и добавления новых языков этот подход требует подключения огромных ресурсов (сотен специалистов), что, естественно, ограничивает число коллективов, занятых в этой области.

Предложенная компанией Cognitive Technologies модель описания «языка» практически инвариантна (по отношению к языкам) и позволяет на порядок снизить трудозатраты при описании морфологии и синтаксиса различных языков мира. Построенные на ее базе системы перевода нового поколения позволят разрешать смысловые неоднозначности не только для двух языков, но и для всего межъязыкового пространства. В настоящее время ядро системы — анализатор текста, предназначенный для описания новых языков, находится в открытом доступе.

Технологии анализа информации, разработанные в рамках проекта Cognitive Translator, находят свое применение в создаваемых компанией информационных системах, в частности для решения задач распознавания и «понимания» документов.

9 декабря Cognitive Translator (включая описание системы) был выложен в открытый доступ в сети Интернет на сайте www.cognitive.ru в разделе «Научные исследования», что является подарком посетителям сайта к Новому году. Система представляет собой интерактивную среду, обеспечивающую возможность перевода, редактирования и синхронного просмотра оригинала текста, перевода и дополнительных вариантов перевода. Ограничение по размеру переводимого текста составляет 32 КБ (примерно 32 000 знаков). Система поддерживает два направления перевода англо-русский и русско-английский.

Необходимо отметить, что представляемый проект находился в течение последних пяти лет в режиме альфа–тестирования. За это время система сделала порядка 20 млн. переводов (около 15 000 переводов в день).

В ближайших планах по развитию проекта Cognitive Translator: добавление новых языков перевода, создание и подключение новых правил перевода, совершенствование технологий «понимания».