Тест качества перевода с китайского 11 нейросетей: сравниваем ChatGPT, Gemini, DeepSeek и других

Искусственный интеллект постепенно становится привычным инструментом для решения повседневных задач — в том числе по быстрому переводу интересных статей в Интернете. Но если качество перевода с распространенных европейских языков, которые изучаются в российских школах, пользователь может проконтролировать, оценить, как ИИ справляется с редкими языками, например, китайским, уже сложнее.

Руководствуясь принципом «доверяй, но проверяй», мы решили проверить возможности нескольких популярных нейросетей по передаче смыслов, заложенных в иероглифах, на примере простого публицистического текста без специальной терминологии.

Выбор исследователей пал на отрывок из статьи, опубликованной на сайте China Newsweek. Она посвящена напитку, горячо любимому во всем мире, —кофе.

Методология

Мы предложили перевести этот текст нескольким популярным ИИ-моделям, которые активно развиваются в России, Китае и США.

Критерии отбора нейросетей для эксперимента заключались в следующем:

• Сервис является владельцем и разработчиком соответствующей ИИ-модели.
• ИИ-инструмент должен быть бесплатным (на этом этапе, к сожалению, отсеялись модели Claude от американской компании Anthropic).
• ИИ-инструмент должен быть доступным для пользователей из России без чрезмерных усилий (по этой причине нам пришлось отказаться от использования сервисов, при регистрации требующих ввести китайский номер телефона).

В каждом сервисе использовалась версия модели, предлагаемая по умолчанию, и простой zero-shot промпт (без примеров и предварительного обучения) — чтобы смоделировать действия пользователя без специальной подготовки.

Критерии оценивания качества перевода. Качество перевода, выполненного ИИ, оценивалось по трем измерениям:

1. Точность передачи смысла.
2. Полнота перевода (пропуски или добавление информации, их оправданность).
3. Соответствие правилам грамматики русского языка.

По каждому из измерений выставлялась оценка от 1 до 10, по общей сумме баллов был составлен рейтинг ИИ-моделей как переводчиков с китайского.

Российские модели: YandexGPT и GigaChat

YandexGPT. Поклонники «умных» технологий из России довольно часто спрашивают все непонятное у Алисы, ИИ-помощника компании Яндекс. Вот как интерпретировала наш текст о кофе эта нейросеть:

Посмотреть оригинальный текст и человеческий перевод

В целом с задачей YandexGPT справилась. Единственное замечание — в российских кофейнях термин «ледяной кофе» используется редко, обычно в меню пишут «холодный кофе», «кофе со льдом» или «айс-кофе».

«Меньше льда» — это специальная опция при заказе, про количество льда китайские бариста спрашивают так же, как и про сахар, но если от сахара отказаться можно, то льда в холодном напитке бывает либо много, либо мало, и больше никак. Для России это не очень знакомая реалия, поэтому переводить этот момент нужно было бы повнимательнее, но в целом смысл понятен.

К полноте перевода особых претензий нет, а вот грамматика в третьем абзаце уж очень топорная — тут и «явление добавления», и «добавление льда в кофе» два раза подряд в соседних предложениях… Очень неаккуратные буквальные формулировки, которые русскоязычной модели непростительны.

Смысл — 8
Полнота — 10
Грамматика — 7
Итого — 25

GigaChat от Сбера в своем переводе так же грешит повторами («добавление льда» — «добавляя лед»). Есть у него неточности для красного словца — например, «бурных» споров в оригинале нет, а идиома 9块9要什么自行车 переведена слишком буквально — «за 9,9 юаня хочешь велосипед». Эту фразу в китайском интернете используют в смысле «приобретая вещь со скидкой, не жди великого качества/шикарного обслуживания/дополнительных привилегий». Ну и «9,9 юаня» тоже не стоит передавать совсем в лоб — кофе со льдом в Китае стоит или меньше (около 8 юаней в Luckin) или сильно больше (от 20 юаней в «Старбакс»).

При этом GigaChat предложил удачный вариант «с меньшим количеством льда». И в целом текст перевода у него почти того же объема, что оригинал, не такой многословный как у Алисы.

Посмотреть оригинальный текст и человеческий перевод

Смысл — 8
Полнота — 9
Грамматика — 8
Итого — 25

Американские модели: ChatGPT, Gemini, Grok и Copilot

На втором этапе мы протестировали ведущие ИИ-модели из США.

ChatGPT, продукт компании OpenAI, очевидно, не слишком ладит с русским языком: в его переводе много грамматических «нескладушек», начиная с самой первой фразы. Предложения типа «проблема чрезмерного количества льда в кофе уже привлекла широкое внимание потребителей» в целом нехарактерны для легкого публицистического стиля, в котором написана статья. В идиоме, про которую речь шла выше, «за 9,9 чего вы еще хотите», не осталось ни юаней, ни других валют, и она так же непонятна, как и словосочетание «меньше льда». Вместо «пользователей сети» ИИ оставил просто «пользователи» — и это тоже смысловая неточность.

Посмотреть оригинальный текст и человеческий перевод

Смысл — 7
Полнота — 8
Грамматика — 6
Итого — 21

ИИ-инструмент Gemini справился с переводом очевидно получше — очевидно, что долгие годы работы Google в России и с российскими лингвистами пошли ему на пользу. Грамматика — загляденье, все предложения звучат естественно для русского уха, стиль соблюден, даже про «меньше льда» указано, что это «опция».

Однако в попытке уйти от буквальной передачи структуры оригинала Gemini довольно много присочинил своего. Вышеописанная китайская идиома про 9,9 юаня никак не предполагает добавления «Скажите спасибо, что вообще налили». Это вполне себе ощутимая сумма для жителя КНР.

Также для полноты понимания не хватает уточнений, кто такие «одни» и «другие» — в оригинале они есть. Еще один важный момент — речь в статье идет о кофе навынос. Поэтому лед кладут не в чашку, а в стакан, и технология приготовления айс-кофе рассчитана именно на одноразовый пластиковый стакан, поэтому последнее предложение переведено неточно.

Посмотреть оригинальный текст и человеческий перевод

Смысл — 8
Полнота — 9
Грамматика — 10
Итого — 27

Grok от xAI, разрабатываемый Илоном Маском для социальной сети X пока слишком молод, чтобы работать переводчиком. В его интерпретации есть и вкрапления английских слов (netizens), и буквализмы вроде «аппетит слишком наглый». Неудивительно, что и «велосипед впридачу к 9,9 юаням» остался без нужного лингвокультурного комментария. Грамматика текста в целом мало напоминает русскую, и даже «так всё-таки» не является вводным словом и не отделяется запятой. Не все ладно и со смыслом — во-первых, в оригинале нет никаких «магазинов» — там «предприятия» или «бизнес». Во-вторых, про обман покупателей в статье также прямо не говорится, это домыслы Grok.

Посмотреть оригинальный текст и человеческий перевод

Смысл — 5
Полнота — 8
Грамматика — 5
Итого — 18

Copilot от Microsoft. Завершая американский этап проверки, мы спросили, сколько льда нужно класть в кофе у Copilot, вездесущего и неотключаемого ИИ-помощника компании Microsoft, которая, казалось бы, должна хорошо общаться по-русски, учитывая львиную долю пользователей Windows и Office из России.

Первое, что бросилось в глаза — похожесть перевода на вариант, предложенный GigaChat. При этом он хуже! В дополнение к недочетам, на которые мы попеняли ИИ от Сбера, Copilot вообще не видит проблемы в неоправданных повторах («слишком жадно» и «слишком придираются», «чрезмерного количества льда» и «большого количества льда». Это пока единственный из испытанных нами ИИ, который не локализовал числительное, оставив разделитель «точку» вместо «запятой» в словосочетании «9,9 юаней». Также перевод «сэкономить на кофе за счет потребителя» совсем не передает смысла оригинала, согласно которому кубики льда помогают экономить другие ингредиенты напитков.

Посмотреть оригинальный текст и человеческий перевод

Смысл — 6
Полнота — 8
Грамматика — 7
Итого — 21

Китайские модели: Kimi, Dola, Z.AI, Qwen, DeepSeek

Наибольшие надежды по качеству перевода с китайского мы возлагали на китайские модели — они-то уж точно в курсе про то, по какой схеме баристы в Шанхае и Гуанчжоу отмеряют лед для напитков и при чем тут велосипед за 9,9 юаня.

Наибольшие трудности при этом возникли с подбором сервисов для изучения — помимо уже крепко известного и прижившегося в России и мире DeepSeek, в интернете есть множество других развивающихся ИИ-инструментов китайских разработчиков, которые плюс-минус равны по мощности, но при этом заточены под разные задачи — и ни одна не специализируется на переводе.

Kimi от Moonshot AI. Один из самых амбициозных проектов — большая языковая модель Kimi от пекинской компании Moonshot AI. Разработчики обещают, что она специализируется на работе именно с текстами и документами. Посмотрим, как она справится с нашей статьей.

Посмотреть оригинальный текст и человеческий перевод

Из плюсов: наконец-то найден хороший вариант перевода реалии, на которой спотыкались некитайские ИИ — «кофе с малым количеством льда». Но вот в идиоме преткновения уточнение «9 юаней 9 фэней» не уточнило ничего. Многие формулировки, например, «обильный лед в кофе» и «явление чрезмерного добавления» звучат для носителя русского языка попросту нелепо. Фраза «сторонники одной точки зрения» предполагает, что позднее в тексте появятся «сторонники другой точки зрения», а не противники. Словом, по смыслу и полноте неплохо, но по грамматике довольно слабо.

Смысл — 8
Полнота — 8
Грамматика — 6
Итого — 22

Dola (Toki), ранее Cici, — ИИ-помощник компании ByteDance, которую мы знаем как разработчика TikTok. У этой социальной сети коротких видео несколько названий для разных рынках, поэтому и Dola AI, скорее всего, трудится под неодинаковыми именами в зависимости от геолокации пользователя. Это, кстати, чуть ли не единственный найденный нами китайский ИИ-инструмент, который отвечает на вопросы, не требуя предварительной регистрации. Но качество перевода у него, увы, на уровне машинного.

Посмотреть оригинальный текст и человеческий перевод

Ничего важного модель, конечно, не выпустила, но за грамматику и подбор лексики больше «тройки» ей никак не поставить. Ладно повторы. Но оборот «кофе заканчивается, не успев его толком выпить» — это же классическое «подъезжая к станции, у меня слетела шляпа». Другие нейросети так грубо не ошибались.

Смысл — 7
Полнота — 8
Грамматика — 3
Итого — 18

Z AI или Zhipu AI — еще один пекинский стартап, который уже входит в тройку «ИИ-тигров» на китайском рынке. Его ИИ-модель думала над переводом нашей статьи очень долго. Дольше всех. Потом сообщила, что у нее пиковая загрузка и предложила зайти позже. В процессе ожидания мы даже почитали, как именно искусственный интеллект переводит текст — и переводил он его через английский. Однако итоговый результат стоил свеч.

Z AI даже примечание переводчика про идиому с велосипедом составил. Старался!

Посмотреть оригинальный текст и человеческий перевод

Шероховатости и неточности, конечно, тоже никуда не делись — особенно не радует первая фраза, в которой два предложения, разделенные тире, никак не сочетаются грамматически. «При получении» — это буквализм, стоило добавить что-то вроде «при получении заказа». «Неприглядная жадность бизнеса» звучит романтично, но не очень по-русски. А «последнее слово в вопросе о том, сколько льда класть в кофе» — чрезмерно избыточно и добавляет смысл, отсутствующий в оригинале.

Смысл — 8
Полнота — 8
Грамматика — 7
Итого — 23

Qwen от Alibaba. Теперь зададим ту же задачу Qwen от Alibaba. Проект сейчас переживает не лучшие времена — недавно из него ушли сразу три ключевых разработчика. Но при этом это крепкое семейство китайских языковых моделей, которые обновляются ничуть не реже, чем ChatGPT. Она должна как минимум сносно общаться по-русски.

Посмотреть оригинальный текст и человеческий перевод

Перевод с помощью Qwen действительно порадовал. Нет топорных повторов, текст звучит достаточно естественно, «чтобы продлить удовольствие» — очень хороший вариант передачи мысли оригинала о том, что пользователю хочется больше кофе.

Однако с точки зрения русской грамматики «9,9 юаней» — это неграмотно (должно быть «9,9 юаня»). А «сэкономить на напитке» — неточно по смыслу оригинала (там все-таки «сэкономить на других ингредиентах».

Смысл — 9
Полнота — 9
Грамматика — 9
Итого — 27

DeepSeek. Что же ответит на это DeepSeek — пожалуй, самый известный и благосклонный к россиянам ИИ-помощник из Китая? Над переводом он, кстати, практически не раздумывал. И, увы, много чего насочинял, довольно заметно изменив структуру предложений оригинала (например, появились скобки).

Посмотреть оригинальный текст и человеческий перевод

Можно похвалить нейросеть за хороший естественный язык с соблюдением правил грамматики.

Однако во втором абзаце есть серьезный смысловой недочет — там указано, что недовольный был один, хотя из оригинала следует, что жалоб на лед в кофе было несколько. С одной стороны, DeepSeek мог бы оправдаться тем, что в китайском языке нет грамматического указания множественного числа существительных — в отсутствие числительных и счетных слов 网友 можно перевести как «пользователь сети» и «пользователи сети». Но поиск в интернете однозначно подтверждает, что тема стала «горячей», потому что было много подобных постов. А DeepSeek как раз умеет искать в интернете, но в этом случае не стал. Еще один «прокол» с его стороны — перевод аргумента сторонников как «покупаешь кофе, а не лед». Для выражения смысла оригинала надо сказать утвердительно: «Мы все-таки покупаем кофе, а не лед» или, как минимум, «Как будто лед покупаешь, а не кофе».

Смысл — 6
Полнота — 7
Грамматика — 9
Итого — 23

Итоговый рейтинг

Таким образом, верхние строчки нашего субъективного исследования качества перевода с китайского языка на русский язык заняли два ИИ-инструмента — американский Gemini и китайский Qwen. Они справились с задачей на хорошем уровне, хотя и не были на 100% безупречны.

Как минимум, нужно заметить, что для эксперимента был выбран небольшой по объему фрагмент текста — около 220 иероглифов, меньше одной условной переводческой страницы. Тестировать любой искусственный интеллект все же стоит на больших объемах — ввиду особенностей вычислительной архитектуры, он часто начинает сокращать, добавлять и путаться в данных ближе к концу длинной задачи. Но на коротких дистанциях все нейросети, задействованные в эксперименте, за исключением Dola и Grok, проявили себя достаточно хорошо.

Особенно радует, что в итоговом рейтинге высокие места заняли российские ИИ. Это означает, что их вполне можно использовать для ознакомления с публикациями китайского интернета.

Бонус: DeepL

В качестве контрольного участника исследования мы выбрали сервис, хорошо знакомый профессионалам из сферы переводов — немецкий DeepL, который позиционирует себя как «самый точный переводчик в мире». Помимо технологий машинного обучения, разработчики DeepL также развивают собственную языковую ИИ-модель. Посмотрим, как у нее обстоят дела с китайским, предложив ей в работу тот же текст про кофе и лед.

Псмотреть оригинальный текст и человеческий перевод

С точностью у этой системы перевода все же есть проблемы. «Сэкономить за счет качества», «сторонники этой идеи», «отвратительное» поведение компаний — всего этого нет в оригинале. Перекочевала в перевод и грамматическая ошибка «9,9 юаней», характерная для слабых ИИ-моделей, и «чашка» вместо «стакана». Использование «так вот» для усиления в контексте публицистического текста попросту неудачно.