«Сложнее формулировать мысли»: как использование ИИ влияет на грамотность человека
«Не так, как мы привыкли»: эксперты раскрыли угрозу ИИ для русского языка
- Сгенерировано с помощью ИИ
Сегодня нейросети сильно упростили работу с текстами. ИИ быстро исправляет опечатки, подбирает синонимы и помогает сделать формулировки понятнее. Но скорость не всегда означает качество. Как показывают исследования, даже в рамках современных языковых моделей могут возникать грамматические ошибки.
Дело в том, что большие языковые модели обучаются на массивах текстов, находят в них языковые закономерности и на их основе предсказывают, какое слово или знак препинания должны идти следующими. Для этого текст разбивается на токены — слова, части слов и знаки препинания. Такой механизм позволяет ИИ создавать связные, но не всегда грамотные тексты.
Насколько хорошо нейросети справляются с правилами русского языка, проверили исследователи Института искусственного интеллекта МГУ и «Яндекса». Учёные представили датасет, предназначенный для проверки систем автоматического исправления текста, который содержит около 1 тыс. предложений с ошибками и охватывает 48 языковых правил. Каждое предложение в наборе связано с определённым правилом.
По результатам работы на тестовой выборке из 612 предложений две исследуемые модели набрали 50 и 75% по выбранной авторами метрике. Затем исследователи попробовали улучшить результаты с помощью дополнительного подбора примеров. Для этого вспомогательная модель нашла в наборе предложения с ошибками того же типа, что и в проверяемом тексте, и передала их основным моделям. В итоге такой подход позволил повысить показатели до 57 и 81% соответственно.
- РИА Новости
- © Антон Денисов
Как отметила в разговоре с RT шеф-редактор EdTech-компании «Лань» Екатерина Позднякова, на результат ИИ-генерации влияют как возможности самой модели, так и данные, на которых она обучалась.
«Генеративная нейросеть учится на текстах из интернета. Если пользователи массово пишут какое-то слово с ошибкой, например путают род слова «тюль» или пишут «оплатить за проезд», ИИ воспринимает это как статистическую норму и воспроизводит такие конструкции», — рассказала эксперт.
«Последнее слово должно оставаться за человеком»: эксперты — о создании промптов для ИИ и о доверии нейросетям
Позднякова также отметила, что ошибки в сгенерированном тексте могут провоцировать и сами пользователи при составлении промпта.
«Если в запросе пользователь указывает, что в тексте обязательно должны быть конкретные слова — именно в неизменном виде, нейросеть может буквально выполнить такой запрос, хотя в конкретном контексте получившаяся конструкция будет ошибочной с точки зрения правил русского языка», — пояснила она.
Словесная каша
Ошибки возникают не только при редактировании готового текста. Часто нейросетям бывает трудно правильно воспроизвести надписи на русском языке при создании изображений.
Это доказал эксперимент, опубликованный на сайте копирайт-биржи TurboText. Авторы предложили пяти нейросетям создать вывеску пекарни, карточку товара и афишу.
Результаты оказались неоднозначными. Nano Banana Lite, например, заменила надпись «Хит продаж» на английское Bestseller. GPT Image 2 справилась с большинством заданий, но на афише написала слово «весеннний» — с лишней буквой «н». В других случаях модели заменяли русские надписи английскими или выдавали искажённые символы.
- Сгенерировано с помощью ИИ
И такие ошибки лишь пример того, как нейросети могут искажать русский язык.
Как рассказал в беседе с RT директор фонда «Тотальный диктант» и руководитель проекта Вячеслав Беляков, при работе с текстом нейросети способны не только неверно написать слово, но и предложить непривычные для русского языка конструкции.
«Нейросети, особенно обученные на большом количестве зарубежных текстов, при создании текстов на русском языке могут предлагать калькированные выражения и выстраивать фразы не так, как мы привыкли. Например, классическое «это не это, а то» или «это не про одно, это про другое». Это прямая калька с английского языка, несвойственный русскому языку оборот», — объяснил эксперт.
Ещё один наглядный пример «галлюцинаций» ИИ при генерации текста на картинке — баннер на сайте проекта о Китае, создатели которого использовали ИИ для подготовки графики. На нём ИИ сгенерировал фразу «Китай — символ пторесса и инноваций» вместо «символ прогресса». Авторы, в свою очередь, признали ошибку и намеренно оставили её на баннере, чтобы продемонстрировать результат работы нейросети.
Привычка не думать
Немалое беспокойство вызывает и то, как постоянная опора на ИИ сказывается на умении человека писать своими словами.
Этот вопрос решили изучить исследователи MIT Media Lab. В эксперименте участвовали 54 человека, которых разделили на три группы. Одни писали эссе с помощью ChatGPT, другие пользовались поисковиком, а третьи выполняли задания самостоятельно. Во время работы учёные записали активность мозга участников с помощью электроэнцефалографии, а затем проанализировали готовые тексты.
Результаты показали, что у участников, использовавших ChatGPT, связи между областями мозга были слабее, чем у тех, кто писал сам. К тому же им было сложнее процитировать собственные эссе.
- Сгенерировано с помощью ИИ
В разговоре с RT Вячеслав Беляков отметил, что навык письма действительно может ослабевать, если человек перестаёт им пользоваться.
«Грамотность не генетическая характеристика, а приобретённый навык. Как и любой другой навык, если его не использовать, он, вероятно, будет постепенно ослабевать. Если человек перестанет самостоятельно писать тексты, через какое-то время ему может стать сложнее формулировать мысли и составлять предложения», — предупредил он.
Но эксперт не считает, что использование ИИ обязательно приведёт к снижению уровня грамотности.
«Вряд ли действительно грамотный человек будет полностью доверять нейросетям создание собственных текстов. А если человек бездумно использует их результаты, возможно, с грамотностью у него были проблемы и до этого. Так что, если рассматривать ситуацию в целом, мне кажется, что нейросети не окажут существенного влияния на общую грамотность», — полагает Беляков.
Екатерина Позднякова обращает внимание на использование ИИ детьми, которые ещё только осваивают навыки письма и учатся писать грамотно.
«ИИ может повлиять на грамотность, если его регулярное использование начинается в тот период, когда ребёнок только учится говорить, размышлять, когда у него формируется понимание окружающего мира. Именно в детстве закладываются основы грамотности — благодаря чтению литературы, запоминанию наизусть стихов, письму — и затем развиваются в ходе школьного обучения», — рассказала эксперт.
- РИА Новости
- © Сергей Пятаков
Доверяй, но проверяй!
Вместе с тем полностью отказываться от нейросетей из-за их ошибок, по мнению экспертов, не нужно.
«Конечно, для базовой проверки нейросети использовать можно. По крайней мере, они вполне способны находить простые орфографические и пунктуационные ошибки. Но важно самому вдумчиво подходить к тому, что они предлагают», — рекомендовал Беляков.
«Мышление становится однообразнее»: филолог — об архаизмах, классике, новых словах и культурном коде
По его словам, проблема возникает, когда человек перестаёт самостоятельно работать с текстом и полностью делегирует эту задачу ИИ.
«Часто люди просто генерируют текст и копируют его. И здесь возникает вопрос: как такой способ использования нейросетей может повлиять на грамотность? Может ли она снизиться даже у изначально грамотного человека? Теоретически это возможно», — добавил эксперт.
Нейросеть можно использовать и для обучения. Как отмечает Екатерина Позднякова, в таком случае ИИ не заменяет самостоятельную работу и помогает разобраться в собственных ошибках.
«ИИ может стать помощником и тренажёром для развития навыков письма, если ему поставить такую задачу. Например, можно попросить его подсказать, как усилить текст, сделать аргументацию убедительнее или точнее выдержать нужный стиль. Нейросеть также можно попросить объяснить сложное правило, составить тесты и упражнения, а затем разобрать допущенные ошибки», — заключила она.