Специалисты Яндекса создали новый инструмент для оценки и улучшения работы нейросетей, занимающихся переводом текстов. Разработка получила название RATE, что расшифровывается как улучшенная метрика для оценки перевода. Ее главная задача — помочь совершенствовать модели искусственного интеллекта, которые уже справляются с точным переводом, но иногда выдают неестественные или стилистически неверные формулировки.

Проблема существующих систем заключается в том, что они часто игнорируют тонкости языка. К примеру, в неформальной беседе модель может перевести фразу «sorry, my bad» излишне официально — «приношу извинения, это моя вина», вместо более естественного и уместного варианта «извини, ошиблась». Пользователь заметит эту неуклюжесть, но стандартные метрики оценки такие нюансы не улавливают. Новый метод RATE призван обращать внимание алгоритмов именно на подобные недочеты.

Методика оценивает результат перевода по трем основным критериям. Первый — это точность передачи исходного смысла. Второй — естественность и грамотность языка перевода. Третий — соответствие стилистике и тону оригинала. Такой комплексный подход позволяет применять RATE к самым разным типам текстов. С его помощью можно проверять точность изложения фактов в новостных материалах, выявлять излишнюю формальность в сообщениях из социальных сетей или оценивать стилистическую целостность и плавность речи в художественной литературе.

Важным преимуществом системы является не просто констатация ошибки, но и оценка ее серьезности. RATE классифицирует недочеты — от незначительных неточностей, которые почти не влияют на понимание, до существенных искажений смысла. Это дает разработчикам более детальную и полезную обратную связь для точечной настройки алгоритмов, что в перспективе должно привести к созданию более качественных и человечных систем машинного перевода.