Яндекс создал "гибридный" искусственный интеллект для перевода текстов
Специалисты "Яндекса" создали новую систему онлайн-перевода, которая одновременно использует и старые статистические алгоритмы, и искусственный интеллект, сообщает пресс-служба компании.
"Пока наша новая система поддерживает только перевод с английского на русский язык. В ближайшее время мы начнем добавлять другие языковые пары и в течение нескольких месяцев реализуем поддержку большинства самых популярных языков", — заявили в пресс-службе "Яндекса", отвечая на вопросы корреспондента РИА Новости.
В последние несколько лет ведущие IT-компании начали активно развивать и использовать различные формы искусственного интеллекта для поиска информации в Сети, обработки фотографий и их каталогизации и множества других целей, где неклассические алгоритмы обработки данных не работают.
Ярким примером этого подхода стала система искусственного интеллекта AlphaGo, открыто обыгравшая чемпионов мира и Европы по го и анонимно победившая сотни топ-игроков в онлайн-системах этой древнекитайской игры.
Большая часть таких разработок основывается на так называемых глубинных — или сверточных нейросетях. Они представляют собой каскады или многослойные структуры из нескольких десятков или сотен более простых нейросетей. Каждая из них обрабатывает не исходные данные, а продукты анализа, полученные сетью, расположенной выше, что позволяет упрощать очень сложные проблемы и решать их при помощи сравнительно скромных вычислительных ресурсов.
Нечто похожее происходит и при использовании искусственного разума для перевода с одного языка на другой. Когда нейросеть "читает" переводимый текст, то она не пытается перевести его по фразам или отдельным словам, а ищет ответ целиком, используя данные, накопленные при анализе текстов, переведенных человеком.
У подобного подхода, как отмечают специалисты "Яндекса", есть как плюсы, так и минусы: в таком виде текст становится более читаемым и похожим на то, как его перевел бы человек, но, с другой стороны, машина периодически начинает "фантазировать", если ей встречаются редкие слова и фразы.
Эту проблему "Яндекс" решил, объединив искусственный разум со старой системой перевода, хорошо справлявшейся с редкими словами, но сталкивавшейся с большими проблемами при их объединении в предложения. Когда пользователь вводит текст, его одновременно переводит и нейросеть, и статистический алгоритм, после чего система машинного обучения CatBoost, недавно созданная "Яндексом", сопоставляет результаты и собирает из них более читаемый и грамотный вариант.
Сейчас старая версия "Яндекс.Переводчика" поддерживает 94 языка, в том числе ряд редких и вымышленных, например синдарин — язык эльфов из книг Дж. Р. Р. Толкина.