Опубликовано: 25 августа 2023
Обновлено: 26 сентября 2024
Кира Юхтенко утверждает, что с ChatGPT переводить теперь совсем легко. А давайте проверим!
В социальных сетях нам попалось видео. На нем финансовый обозреватель и основатель медиа про инвестиции и финансы InvestFuture с одноименным ютуб-каналом, на котором на момент написания статьи 950 тысяч подписчиков, Кира Юхтенко рассказывает, как за десять минут можно заработать на переводе текста, используя переводчик DeepL и нейросеть ChatGPT.
Мы прикрепили оригинал ролика. Но на случай, если его удалят, опишем, что в нем было.
В видео Кира Юхтенко находит заказ, связанный с переводом экономической статьи, отдает оригинал текста на иностранном языке онлайн-переводчику DeepL, а полученный перевод отправляет на редактуру в ChatGPT с командной «Отредактируй текст». Обработанный нейросетью перевод сдает заказчику и получает оплату за выполненную работу. Вот так просто!
Отметим, что на ролике не показано и не сказано, что ChatGPT получает на редактуру и оригинал статьи, и перевод от DeepL — наоборот, только последнее.
Мы решили проверить, можно ли таким способом получить качественный перевод. Для эксперимента взяли шесть текстов разных тематик, которые были переведены DeepL в нашем прошлогоднем исследовании онлайн-переводчиков:
- художественный текст;
- договор (юриспруденция);
- инструкция по эксплуатации (техника);
- научная статья;
- туристический каталог (маркетинг);
- комментарий из сети (общая тематика).
Следуя алгоритму действий из видео, отправили их на редактуру в ChatGPT, используя команду «Отредактируй текст». Полученные результаты попросили прокомментировать нашего штатного переводчика-редактора Александру Корб.
Попробую просто объяснить, как работает продвинутый онлайн-переводчик типа DeepL. Когда вы загружаете в него текст, алгоритмы анализируют базу данных с уже существующими переводами других примерно таких же текстов, чтобы найти похожие фразы или предложения и подобрать перевод, который ранее использовался для передачи подобного контекста. Когда текст шаблонный (например, типовой договор), получается очень хорошо, потому что в базе огромное количество переводов, и «машина видит», что почти во всех контекстах переводят всегда так, то есть риск плохого перевода низок. Когда текст уникальный (например, художественное произведение), онлайн-переводчику сложно правильно оценить контекст, получаются забавные ляпы.
Если вы хотите довести результат онлайн-перевода до ума, понадобится редактура. Опытный редактор проверит исходник и перевод, а ляпы поправит. И возможность сверяться с исходником — основа основ в работе переводчика-редактора. Без исходника можно лишь чуть «причесать» текст, а оценить выбранные переводчиком решения — невозможно.
А теперь главный вопрос: как ChatGPT, не видя оригинал и не понимая контекста, может отредактировать перевод? Кажется, что максимум его возможностей — прогнать перевод через синонимайзер.
Художественный текст
II was coming home from some place at the end of the world, about three o’clock of a black winter morning, and my way lay through a part of town where there was literally nothing to be seen but lamps. Street after street and all the folks asleep—street after street, all lighted up as if for a procession and all as empty as a church—till at last I got into that state of mind when a man listens and listens and begins to long for the sight of a policeman. All at once, I saw two figures: one a little man who was stumping along eastward at a good walk, and the other a girl of maybe eight or ten who was running as hard as she was able down a cross street. Well, sir, the two ran into one another naturally enough at the corner; and then came the horrible part of the thing; for the man trampled calmly over the child’s body and left her screaming on the ground. It sounds nothing to hear, but it was hellish to see. It wasn’t like a man; it was like some damned Juggernaut.
Я направлялся домой из одного весьма глухого местечка, было около трех часов непроглядной зимней ночи, а путь мой лежал через район, где было не видно решительно ничего, кроме самих фонарей. Улица за улицей несся я по спящему городу – улица за улицей ряды фонарей напоминали крестный ход и было пусто, как в церкви – пока, наконец, не вступил мой рассудок в то состояние, когда страшишься каждого звука да только и мечтаешь, чтобы встретился по пути полицейский. Внезапно приметил я два силуэта – маленького человечка, размашисто и с топотом шагавшего в восточном направлении, и девочку лет восьми – десяти, сломя голову бежавшую по поперечной улице. Конечно же, прямо на углу эти двое буквально врезались друг в друга – а потом случилось нечто ужасное; человечек как ни в чем не бывало наступил на упавшую девочку и прошествовал дальше, несмотря на то, что ребенок зашелся в крике. Может, мой рассказ и скучен, но зрелище было кошмарное. Как будто то был и не человек вовсе, а неведомая безжалостная сила.
Перевод DeepL
Редактура ChatGPT
Я возвращался домой из какого-то места на краю света, около трех часов черного зимнего утра, и мой путь лежал через часть города, где не было видно буквально ничего, кроме фонарей. Улица за улицей, и все люди спят — улица за улицей, все освещены, словно для процессии, и все пусты, как церковь — пока, наконец, я не вошел в то состояние духа, когда человек слушает, слушает и начинает жаждать увидеть полицейского. И тут я увидел две фигуры: один — маленький человечек, который шел на восток хорошей походкой, а другая — девочка лет восьми-десяти, которая бежала изо всех сил по поперечной улице. Так вот, сэр, на углу они столкнулись друг с другом, что вполне естественно; и тут произошло самое ужасное: мужчина спокойно переступил через тело ребенка и оставил ее кричать на земле. На слух это звучит ничего, но на вид это было ужасно. Это не было похоже на человека; это было похоже на какого-то проклятого джаггернаута.
Я возвращался домой из отдаленного уголка света, около трех часов черного зимнего утра, и мой путь пролегал через часть города, где было видно буквально только фонари. Улица за улицей, все вокруг спали, улица за улицей, они светились словно для какой-то процессии, и были пусты, словно церковь, пока наконец я не погрузился в тот странный настрой духа, когда человек начинает ожидать увидеть полицейского. И тут, вдруг, передо мной возникли две фигуры: одна — небольшой человечек, шедший на восток с решительной походкой, а другая — девочка лет восьми-десяти, которая бежала насквозь поперечной улицы. И вот, сэр, на углу эти двое столкнулись, как это и следовало ожидать; но произошло нечто ужасное: мужчина спокойно перешагнул через тело ребенка и оставил ее в слезах на земле. Когда ты слышишь эту историю, она может показаться не такой уж и страшной, но видеть это своими глазами было ужасно. Это не было как человек, это было словно какой-то проклятый джаггернаут.
Оценка — 1/10Текст руки ChatGPT достоин места в палате мер и весов как образец халтурной редакторской работы. Можно ли это вообще назвать редактурой, если нейросеть просто просеивает исходник через словарь синонимов? О том, чтобы слова в итоге складывались в связный текст, и речи нет. В машинном переводе, отданном на редактуру, ещё можно было уловить что-то напоминающее замысел автора, но через всё это робот-редактор переступил, как проклятый джаггернаут. Например, фраза об улице, освещённой фонарями — казалось бы, элементарная; но после редактуры из неё пропал компонент намеренности, пропали явно подразумеваемые фонари, и теперь улица не освещена, а светится — что и само по себе бессмысленно, а уж тем более с учётом последующей отсылки к крёстному ходу. Весь текст в итоге так перекроен, что превращается в словесную кашу — особенно жалко последнее предложение, в оригинале простое, но такое ёмкое.
Договор
«IN CONSIDERATION OF the matters described above and of the mutual benefits and obligations set forth in this Agreement, the receipt and sufficiency of which consideration is hereby acknowledged, the Customer and the Service Provider (individually the “Party” and collectively the “Parties” to this Agreement) agree as follows:»
«С УЧЕТОМ ВСТРЕЧНОГО ПРЕДОСТАВЛЕНИЯ в виде вышеуказанных положений, а также взаимных выгод и обязательств, изложенных в настоящем Соглашении, получение и достаточность которого стороны настоящим признают, Клиент и Поставщик услуг (далее по отдельности именуемые — «Сторона», а совместно — «Стороны» настоящего Соглашения) договорились о нижеследующем:»
Перевод DeepL
Редактура ChatGPT
В СООТВЕТСТВИИ с вышеописанными вопросами и взаимными выгодами и обязательствами, изложенными в настоящем Соглашении, получение и достаточность которых настоящим признается, Заказчик и Поставщик услуг (индивидуально «Сторона» и совместно «Стороны» настоящего Соглашения) договариваются о следующем
В соответствии с указанными выше вопросами и основываясь на обоюдных выгодах и обязательствах, описанных в данном Соглашении, факт получения и достаточности которых настоящим признается, Заказчик и Поставщик услуг (индивидуально называемые «Стороной», а вместе — «Стороны» данного Соглашения) достигли следующего соглашения
Оценка — 1/10Здесь ChatGPT вновь пал жертвой своей одержимости синонимами и наисправлял так, что только прибавилось ошибок. С такими редакторами и врагов не надо.
Техника
«Use enclosed belt conveyors and transfer sites to prevent the production workshop against dust and sawdust ingress. The design of the line, including connection units of the line, shall prevent the production workshop against dust and sawdust ingress. The line shall be equipped with a dust-collecting / dust-removal plant, which shall make the production workshop entirely dust and sawdust free.»
«Транспортно-ленточные транспортёры, точки пересыпки должны быть закрытого типа и предотвращать попадание пыли, опилок в производственный цех. Конструкция линии, в том числе соединительных узлов линии, должна предусматривать защиту от попадания пыли, опилок в производственный цех. Линия должна включать в себя систему пылеулавливания/пылеудаления (полное отсутствие пыли и опилок в цеху).»
Перевод DeepL
Редактура ChatGPT
Используйте закрытые ленточные конвейеры и передаточные площадки для защиты производственного цеха от попадания пыли и опилок. Конструкция линии, включая соединительные узлы линии, должна предотвращать попадание пыли и опилок в производственный цех. Линия должна быть оборудована пылеулавливающей / пылеудаляющей установкой, которая должна полностью очищать производственный цех от пыли и опилок.
Для обеспечения защиты производственного цеха от попадания пыли и опилок рекомендуется использовать закрытые ленточные конвейеры и передаточные площадки. Важно, чтобы конструкция линии, включая соединительные узлы, эффективно предотвращала проникновение пыли и опилок внутрь производственного цеха. Дополнительно, следует оснастить линию пылеулавливающей или пылеудаляющей установкой, которая обеспечит полную очистку производственного цеха от пыли и опилок.
Оценка — 1/10Переработанный ChatGPT текст, строго говоря, не изменился ни в чём (не считая добавленной пунктуационной ошибки): робот на этот раз схитрил и вместо того, чтобы заменять синонимами термины, только синтаксические конструкции исправил на синонимичные. Полезно ли это? Возможно, если задача-максимум — обойти программу «антиплагиат». Ни в коем случае, если текст нуждается в серьёзной редактуре
Научная статья
«As the licensed version of the MapInfo Professional GIS appeared in the reserve, it became necessary to link the AutoCAD-vector layers of crown projections of the stands to the bases of tree trunks, as well as the projective coverings of undergrowth and understorey of forest PTPs. The standard MapInfo tool allows registration of vector layers only by three reference points, which is clearly not enough for accurate transformation.»
«С появлением в заповеднике лицензионной версии ГИС MapInfo Professional возникла необходимость привязки сформированных в AutoCAD векторных слоёв проекций крон древостоев и оснований стволов деревьев, а также проективных покрытий подлеска и подроста на лесных ППП. Стандартным инструментом MapInfo допускается регистрация векторных слоёв только по трём опорным точкам, чего явно недостаточно для точной трансформации.»
Перевод DeepL
Редактура ChatGPT
По мере появления в заповеднике лицензионной версии ГИС MapInfo Professional возникла необходимость привязки AutoCAD-векторных слоев крон-проекций трибун к основаниям стволов деревьев, а также проективных покрытий подлеска и дублерам лесных ПТП. Стандартный инструмент MapInfo позволяет регистрировать векторные слои только по трем опорным точкам, что явно недостаточно для точного преобразования.
С появлением лицензионной версии ГИС MapInfo Professional в заповеднике возникла потребность в привязке AutoCAD-векторных слоев крон-проекций трибун к основаниям стволов деревьев, а также проективных покрытий подлеска и дублерам лесных ПТП. Однако стандартный инструмент MapInfo позволяет регистрировать векторные слои лишь по трем опорным точкам, что недостаточно для обеспечения высокой точности преобразования.
Оценка — 2/10Нейроредактор исправил явную ошибку сочетаемости в первом предложении, и это была его последняя победа. Первое предложение с оборотами вроде «покрытий и дублерам» сложно пережевать и живому человеку, чего уж говорить о бездушной машине. Никаких существенных правок сделать не вышло, так что он ограничился тем, чтобы подкинуть пару часто встречающихся в научных текстах слов.
Маркетинг
«Relish the flavours of modern Mexico with exceptional resort dining curated by a world-class chef. Soak up the buzzing atmosphere of each unique dining space, enhanced by dramatic views of the ocean.»
«Ощутите аромат современной Мексики и отведайте великолепные блюда от шеф-повара мирового уровня. Оцените неповторимую живую атмосферу каждого заведения и полюбуйтесь невероятными видами на океан.»
Перевод DeepL
Редактура ChatGPT
Насладитесь вкусом современной Мексики, отведав исключительные блюда курортной кухни, приготовленные шеф-поваром мирового класса. Окунитесь в оживленную атмосферу каждой уникальной столовой, дополненную впечатляющими видами на океан.
Погрузитесь в атмосферу современной Мексики, насладившись неповторимыми блюдами курортной кухни, созданными изысканным шеф-поваром мирового уровня. Откройте для себя вкусовые изыски каждой уникальной ресторанной зоны, сопровождаемые захватывающими видами на бескрайний океан.
Оценка — 5/10Вот в маркетинговый текст ChatGPT явно вложил всю свою цифровую душу — может, нейросети специально обучают на онлайн-курсах по написанию продаваемых текстов? Итоговый текст близок по значению к оригинальному, но при этом вполне самодостаточен, пусть и представляет собой типичную рекламную конструкцию, слепленную, как Франкенштейном, из самых цепляющих потребителя модных слов. Внимательный читатель, конечно, разглядит руку робота — например, в притянутом невесть откуда «изысканном шеф-поваре».
Общая тематика
«My grandma was born in the early 1900s, and her parents wanted to name her Violet. At that time, «Violet» was shortened to «Vio» as a nickname, and her parents didn’t want her name shortened. They wanted everyone to use her full name, so they cleverly named her Vio. Everyone called her Vi.»
«Моя бабушка родилась в начале 20-го века, и родители хотели назвать ее Вайолет. В те времена имя «Вайолет» сокращали до «Вайо». Родители сокращения не любили и предпочитали, чтобы их дочь называли бы только полным именем. Поэтому они решили схитрить и выбрали имя Вайо. Все звали ее Вай.»
Перевод DeepL
Редактура ChatGPT
Моя бабушка родилась в начале 1900-х годов, и ее родители хотели назвать ее Виолеттой. В то время «Виолет» сокращали до «Вио» как прозвище, а ее родители не хотели сокращать ее имя. Они хотели, чтобы все использовали ее полное имя, поэтому они хитро назвали ее Вио. Все звали ее Ви.
Моя бабушка появилась на свет в начале 1900-х годов, и ее родители изначально хотели дать ей имя Виолетта. В те времена сокращение «Виолет» часто становилось «Вио» в качестве прозвища, но родители моей бабушки не желали сокращать ее имя. Им бы хотелось, чтобы каждый обращался к ней по полному имени, и они умело придумали для нее имя Вио. Так что для всех она стала Вио.
Оценка — 1/10Текст словно пропущен через мясорубку: полное имя назначили сокращением, имена Вио и Ви смешались в одно — в общем, остальное уже и не так важно: очевидно, что нейросети не под силу определить, какие элементы текста являются ключевыми, а какие не страшно перекроить. Какая разница, что «родилась» исправлено на «появилась на свет», а «хотели» на «желали», если текст больше не несёт смысла? Похоже, основная цель так называемого «искусственного интеллекта» — не написать на «отлично», а притвориться, что он не списывал.
Итоги
Для удобства баллы, выставленные экспертом, собрали в таблицу. Как видно из результатов, качественная редактура при использовании способа из видео невозможна. Лучше всего у ChatGPT получилось поправить текст по маркетингу, на втором месте — научная статья c результатом в два балла. В остальных тематиках нейросеть провалилась.
При проведении эксперимента мы предположили, что редактура могла быть более качественной в случае, если бы ChatGPT получал вместе с переводом оригинал текста. Но мы проверяли способ из видео и действовали строго по алгоритму автора.
| Редактура ChatGPT | |
| Художественный | 1 |
| Договор | 1 |
| Техника | 1 |
| Наука | 2 |
| Маркетинг | 5 |
| Общая тематика | 1 |
В видео автор показывает, как заработать легкие деньги. Но результаты теста показывают, что отредактированный ChatGPT перевод все еще плохой, в большинстве случаев он просто менял исходные слова на синонимы. Можно ли было ожидать других результатов, если нейросеть редактировала текст, не видя оригинал? Думаю, нет.
А что насчет легких денег за 10 минут работы. Если выполнять заказы способом из видео, о хорошей репутации и привлечении новых клиентов можно забыть. Считаю, что подобные ролики вводят зрителей в заблуждение о профессии переводчика.
Выполнить перевод документов для подачи в официальное учреждение или подготовить текст на иностранном для его публикации на широкую аудиторию нейросети пока не могут. Перевод таких файлов лучше поручать специалистам. Например, вы можете обратиться в наше бюро.
Заказать перевод документов в:
Рубрики статьи: тестирование качества перевода.
Теги статьи: английский, нейросети.