Ссылка для цитирования: Крашенинникова M.A., Барабанова А.А. Автоматизированный текст в современной российской медиапрактике // Меди@льманах. 2022. № 5 (112). С. 56−62. DOI: 10.30547/mediaalmanah.5.2022.5662
DOI: 10.30547/mediaalmanah.5.2022.5662
EDN: NHRTGS
© Крашенинникова Мария Алексеевна
кандидат филологических наук, доцент кафедры
новых медиа и теории коммуникации факультета
журналистики МГУ имени М.В. Ломоносова
(г. Москва, Россия), mashagarnova@gmail.com
© Барабанова Арина Александровна
независимый эксперт
(г. Москва, Россия), barabanova.ar@gmail.com
Актуальность темы настоящего исследования связана с растущим интересом общества к проникновению автоматизированных систем в российскую медиапрактику. В последнее десятилетие крупные российские и зарубежные редакции стали чаще использовать новостных роботов, которые создают автоматизированный текст.
Акцент в статье сделан на российское медиапространство, хотя авторы также изучили и кейсы зарубежных медиасистем, в частности медиасистемы США – одного из самых развитых и крупных рынков и исследовательских центров новостных роботов.
По словам генерального директора ТАСС Сергея Михайлова1, в возглавляемом им агентстве создание новостей частично автоматизировано. Такие новости имеют повторяющиеся сценарии (например, прогнозы погоды, отчеты о прибылях и т.д.). В другом российском новостном агентстве, «Интерфакс», роботы пишут примерно 20% экономической ленты, в частности описывают корпоративную отчетность, статистику и создают обзоры рынков2.
Проблематика проведенного нами исследования связана с автоматизацией журналистской работы и внедрением нейросетей в медиапространство России. Были систематизированы виды лингвистических нейросетей, проанализировано качество автоматизированного текста, применены эмпирические методы, как, например, сравнение текстов, созданных на половину или полностью автоматическим способом (сгенерированные тексты).
Хронологические рамки исследования: 30 января 2015 г. – 1 апреля 2022 г. Начало периода характеризовалось не только ростом научного интереса к лингвистическим нейросетям, используемым в журналистике, но и ростом количества проектов, которые начали заниматься разработкой систем для генерации текста. Конечная рамка исследования была задана субъективно, исходя из возможностей авторов. В будущем исследование планируется продолжить.
Прежние системы генерации текста на английском языке могли создавать только предложения (William, Mann, Moore, 1981: 17–29). В 1979 г. исследователь А. Дейви в своей работе «Производственный дискурс» (Davey, 1979) описал использование системной грамматики для генерации комментариев об игре «крестики-нолики». В 1980 г. Д.Д. Макдоналд создал систему MUMBLE, которая, в отличие от других систем, учитывала многие синтаксические ограничения в английском языке (см.: McKeown, 1985). Другой генератор текстов (NIGEL) включал в своем системном фреймворке лингвистически обоснованную грамматику в генерациях. При этом все эти программы не могли автоматически решать вопросы организации текста и выбора контента.
Первые системы генерации текста на русском и других славянских языках стали появляться в начале XXI в. Так, в 2000 г. группа исследователей из России, Германии, Чехии, Болгарии и Великобритании (Kruijff, Teich, Bateman, Kruijff-Korbayová et al., 2000) описала мультилингвальную систему генерации текста инструкций для программ CAD/CAM (они моделируют объекты в компьютере). Ученые собрали ключевые модули своей системы на основе мультилингвальной грамматической системы KometPenman, написанной на языке программирования Common Lisp. Ученые также загрузили в свой проект существующие лексические и морфологические модули для болгарского, чешского и русского языков. Исследователи использовали для построения грамматики фраз систему NIGEL 1985 г., которая работала с грамматикой английского языка.
В 2017 г. российские исследователи новостной автоматизации (Замков, Крашенинникова, Лукина, Цынарева, 2017) проанализировали то, как искусственный интеллект (ИИ) применяется в журналистике, и предложили включить изучение роботизации в программы журналистского образования. Тогда ученые выявили недостаточный интерес преподавательского сообщества к данной инновации. Вместе с тем отмечалось пристальное внимание российских и зарубежных ученых к внедрению ИИ в журналистскую практику.
В научной среде и в сообществе разработчиков идет активное обсуждение точности термина «искусственный интеллект». Так, в стандарте ГОСТ Р 59276-2020 «Системы искусственного интеллекта. Способы обеспечения доверия. Общие положения» понятие определяется как «комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека»3. Среди технологий ИИ в стандарте названы компьютерное зрение и обработка естественного языка, распознавание и синтез речи.
Сам термин ИИ имеет достаточно неоднозначную оценку в академической среде, о чем пишут А.В. Замков (Замков, 2019) и Р.А. Богачева (Богачева, 2011). В частности, Р.А. Богачева подмечает неточность термина, который пришел к нам из английского языка (Artificial Intelligence) и является калькой: intelligence переводится как «умение рассуждать разумно», а не как «интеллект», для которого есть аналог intellect. ИИ используется как родовое название, но для большей определенности стоит упоминать вместе с ним уточняющее добавление. Из-за неточности перевода, указывает А.В. Замков, могут формироваться завышенные ожидания от уровня развитости технологий ИИ.
Важно отметить, что «машинный интеллект» и «машинное обучение» не являются синонимами ИИ. Первое понятие определяется как примитивные алгоритмы и устройства – например, боты, динамичные объекты в видеоигре – мобы, автокорректоры текста (Шестерина, Шестерин, 2020). Второе – способность машин думать и учиться, делая ошибки, схожая со способностью человека.
В 2012 г. в статье Б. ван дер Хаака, М. Паркса и М. Кастельса «Будущее журналистики: сетевая журналистика» (van der Haak, Parks, Castells, 2012: 2923–2938) рассматривалась новая идентичность журналиста. Так, с 2008 г. часть привычной для журналистов работы стали делать роботы-краулеры, которые могли собирать новости в Интернете из разных источников и пресс-релизов, а потом их «переписывать». Роботами-краулерами, например, пользовались в Forbes для описания глобальных финансовых рынков. The New York Times смогла автоматизировать создание объявлений о свадьбах благодаря технологии «семантического Web». Авторы статьи прогнозировали, что для роботизированной журналистики более важными станут интерпретация, анализ и качественный рассказ.
В 2016–2019 гг. часть своей работы начали автоматизировать The New York Times, The Guardian, Forbes, Los Angeles Times, BBC и другие медиа. Бот газеты Los Angeles Times Quakebot с 2019 г. мониторит публикации геологического государственного агентства США о землетрясениях с магнитудой от 1.0 и выше и выбирает, о каких ему стоит написать пост в Twitter (Kim, Lee, 2018). Американское новостное агентство Associated Press и журнал Forbes заключили партнерские соглашения с компаниями Automated Insights и Narrative Science, чтобы создавать машинные финансовые отчеты.
Анализ генераторов, которые находятся в открытом доступе, был проведен авторами статьи по балльной системе, в которой пять – максимальное значение. Критерий оценивался в пять баллов, если в тексте не было связанных с ним ошибок; в четыре – если в тексте обнаруживалось малое (до двух) количество ошибок, и все они не мешали пониманию текста; в три балла, если текст был в целом понятным, но трудночитаемым из-за ошибок (более трех); в два балла, если нарушения по критерию мешали определить тему текста и делали его нечитаемым; в один балл, если генерация была неуспешной, система сгенерировала несуществующие слова.
Анализ проводился по следующим критериям:
После получения экспериментальных генераций и выставления баллов был составлен рейтинг и проведено наиболее корректное сравнение генераторов: в разные системы для генерации текста («Нейропушкин», «Порфирьевич», ruGPT-3) нами был загружен текст, который генераторы должны были продолжить. Таким образом, все сравниваемые объекты были одновременно стандартизированы и имели ряд уникальных характеристик, которые появились после обработки изучаемыми нейросетями трех предложений. Текст о финансовой отчетности компаний написан в публицистическом стиле и типичен для новостей деловых СМИ: «Телекоммуникационная компания Meganet впервые получила прибыль в размере $300 млрд по итогам 2021 г. Большую часть прибыли принес новый тариф мобильной связи “Террабайт”, его стоимость – 1 тыс. руб. в месяц. В компании сообщают, что его уже оформили более 50 млн россиян».
В случаях, когда генерации качественно отличались друг от друга, из-за особенностей каждой конкретной нейросети, для анализа выбирались несколько полученных отрывков. Каждый из них оценивался отдельно, а потом высчитывался средний балл по группе текстов одного генератора.
В данный генератор было введено только первое предложение оригинального текста, т.к. система может на этой основе генерировать не больше двух–трех новых предложений. Ввод более объемного отрывка не предусмотрен. Попытки генерации текста в «Нейропушкине» на основе полных отрывков текста оказались неуспешными.
В системе предусмотрены разные уровни «креативности»: от 0,1 до 2 (с шагом в 0,1). Мы взяли для анализа генерации минимального уровня «креативности» (0,1), среднего (1) и наивысшего (2).
В полученном новостном тексте 0,1 уровня «креативности» синтаксические конструкции достаточно разнообразны (5 баллов). Речь получилась осмысленной, хотя наблюдаются проблемы в единообразии времени, поэтому по критерию «логичности» мы поставили 4 балла. Так, в загруженном тексте речь шла о прошлом, а одно предложение сгенерированного текста резко переключилось на будущее («Выручка компании в 2021 г. должна составить около $4,4 млрд» вместо «составила»). По критерию «соответствие морфологическим нормам и лексическая сочетаемость» – 5 баллов. Пунктуация в сгенерированных предложениях не ставится автоматически, система повторяет первое загруженное предложение и далее нигде не ставит точку (3 балла). По критерию «соблюдение требований стилистики текста» – 5. Средняя оценка конкретной генерации – 4,4 балла.
В новостном тексте первого уровня «креативности» разнообразие синтаксиса данной генерации мы оценили в 3 балла, т.к. структура предложений была достаточно однообразной (три раза повторяется конструкция с однородными членами). Логичность речи – 2 балла («В течение 21 г. Meganet сохраняла свой рост быстрыми и уверенными темпами» – очевидна двусмысленность фразы: в течение «двадцати одного года» или «двадцать первого года», а «добрая слава сотрудников» не подтверждает положительный баланс, в отличие от финансовых показателей). Морфологические нормы и лексическая сочетаемость в этой генерации нарушены («сохраняла свой рост» и «достигла отметок», а не «отметки») – 4 балла. По критерию «пунктуация» – 4 балла (нейросеть повторила пунктуацию за первым предложением и почти всегда ставила точку после предложения, однако в конце сбилась и поставила лишний пробел и открывающую кавычку). По критерию «соблюдение требований стилистики текста» – 4 балла, т.к. в загружаемом отрывке не было оценочных формулировок, какие появились в генерации: «уверенными темпами», «добрую славу». В целом текст не выглядит как газетный (соблюдение стилистики – 3 балла). Средняя оценка – 4 балла.
И, наконец, в новостном тексте второго уровня «креативности» многообразие синтаксических конструкций мы оценили в 2 балла (расположение членов предложения мешает понимать смысл текста). Логичность речи – также 2 («karcena должен показать более высокие прибыть и выручку соответствующими напитками» – продажи напитков могли «формировать» выручку и прибыль, но не «показывать»). Соответствие морфологическим нормам и лексическая сочетаемость – 2 балла (много ошибок: «прибыть» вместо «прибыль», «побросли» вместо «подросли»). Пунктуация – 3 балла (интересно, что причастный оборот выделен правильно, однако потом генератор сбился и невпопад поставил закрывающую кавычку после слова «закусок»). Соблюдение требований стилистики текста при этом находится на высоком уровне – 4 балла. С каждым уровнем «креативности» генератор все дальше уходит от темы. Лучше всего он соблюдает тему и стиль при минимальном уровне «креативности». Средний балл – 2,6.
Нейросеть «Порфирьевич» была создана в 2019 г. Михаилом Гранкиным на основе нейросети GPT-2 американской компании OpenAI, которая опубликовала часть своего алгоритма в открытом доступе. Архитектура «Порфирьевича» относится к классу NLG (natural language generation). Данная нейросеть была обучена на текстах Ф.М. Достоевского, Л.Н. Толстого, А.С. Пушкина, М.А. Булгакова, Н.В Гоголя и В.О. Пелевина. Автор дал имя нейросети в честь героя романа Пелевина iPhuck X – «полицейско-литературного» робота Порфирия Петровича. У этой нейросети есть несколько режимов для генерации: от одного слова после исходного текста до 60 слов.
В первой генерации могло появиться не более 15 слов. В итоге нейросеть сгенерировала семь слов. По критерию «многообразие синтаксических конструкций» – 5 баллов, при этом сильно страдает логичность речи – 2 балла. Соответствие морфологическим нормам и лексическая сочетаемость – 4 («телефоны с предоплатой», но непонятно, какая услуга предоплачена). Пунктуация – 5 баллов. Соблюдение требований стилистики – 5. Средний балл генерации – 4,2.
Также был изучен и другой новостной отрывок, в котором могли бы быть сгенерированы 60 слов, однако «Порфирьевич» создал только 46 слов. В этом случае мы оценили многообразие синтаксических конструкций в 5 баллов, в полученном абзаце есть разные предложения с придаточными конструкциями, которые не перегружают текст. Логические проблемы созданного текста связаны с тем, что слишком много деталей не объясняется. Поэтому данный критерий мы оценили в 2 балла. Морфологические нормы и лексическая сочетаемость – 5, пунктуация – 5 баллов, единообразие стиля – 5. Средний балл генерации – 4,4 балла.
Следующая модель, которую мы изучили, – ruGPT-3 XL от «Сбера». Она может дополнять тексты на русском языке (в основном) и английском, а также умеет продолжать программный код. В нее достаточно загрузить фразу, которую генератор позже продолжит. Нейросеть ruGPT-3 была обучена на суперкомпьютере «Кристофари» и с помощью платформы ML Space от SberCloud. Ее архитектура базируется на решении Generative Pretrained Transformer 3одного из самых известных разработчиков генеративных моделей OpenAI.
Чтобы проанализировать работу с текстом данной нейросети, мы загрузили в нее несколько предложений публицистического стиля. Интересно, что эта нейросеть решила представить своего рода дайджест новостей, а не продолжила дописывать предложенный фрагмент. Многообразие синтаксических конструкций – 5 баллов. Формальная логика также не нарушается, хотя смысл некоторых предложений может озадачить (но мы все же поставили 5), соответствие морфологическим нормам и лексическая сочетаемость – 5 баллов, нарушена пунктуация (4 балла). Соблюдение требований стилистики новостного текста серьезно ухудшается в третьем тексте («даже маленькие испанцы»). Генератор не выдерживает новостной стиль и переходит в стиль ведения личного блога. (3 балла). Средний балл – 4,4.
Первое место по качеству генерации новостного текста заняла ruGPT3 (см. табл. 1). Этот генератор неплохо работает с языком текста, но из-за большого объема генерации (в среднем 201 слово) не способен грамотно связывать мысли друг с другом. Зависимость между качеством работы модели и количеством слов в полученной генерации особенно четко можно проследить на примере генератора «Нейропушкин» (см. табл. 2).
Таблица 1. Качество генерацийновостного текста
Генератор |
Оценка качества (средний балл) |
ruGPT3 |
4,4 |
Порфирьевич |
4,3 |
Нейропушкин |
3,6 |
Таблица 2. Зависимость качества работы генератора «Нейропушкин» от количества слов
Уровень «креативности» |
Кол-во сгенерированных слов |
Оценка генерации |
0,1 |
39 |
4,4 |
1 |
42 |
4 |
2 |
42 |
2,6 |
На данный момент внедрение генераторов текста и других инструментов для автоматизации осложнено тем, что пока они воспринимаются как необязательная трата бюджета редакции из-за уменьшения пула рекламодателей и роста стоимости обслуживания текущих технических средств трудовой деятельности. Только самые крупные российские редакции (агентства ТАСС, «Интерфакс») имеют собственные свободные ресурсы для развития автоматизации. В некоторых случаях игроки медийного рынка («Лента.ру») заключают партнерства с разработчиками ИИ («Сбер»). На текущем этапе развития технологии в автоматических текстах наблюдается большое количество ошибок, неточностей и логических проблем.
Проведенное авторами исследование показало, что современные генераторы текста умеют хорошо работать с языком текстов. Главный недостаток таких автоматических систем в том, что они не могут пока в достаточной мере связывать между собой более двух–трех тезисов.
Однако нужно учитывать, что кроме формальной логики есть еще одна характеристика «человеческих текстов», которые делают их понятными и «читаемыми», – это здравый смысл. Иногда мысли по форме (что важно для логики) друг другу не противоречат, но их смысл может исказить фразу. Генераторов текста, да и других видов ИИ, со здравым смыслом на данный момент не разработано.
Предложенная авторами система критериев для оценки качества генерации текстов может использоваться как в редакциях, выбирающих себе разработчика, который будет создавать инструменты автоматизации для создания журналистского текста, так и для улучшения существующих генераторов текста.
1 Гендиректор ТАСС: автоматизация выведет СМИ на качественно новый уровень / ТАСС. 2018. Май, 24. Режим доступа: https://tass.ru/ekonomika/5229545 (дата обращения: 01.12.2021).
2 50 фактов из жизни редакции сайта «Интерфакса» / Интерфакс. 2016. Июнь, 23. Режим доступа: https://www.interfax.ru/russia/514805 (дата обращения: 01.12.2021).
3 Национальный стандарт Российской Федерации. Системы искусственного интеллекта. Способы обеспечения доверия. Режим доступа: https://docs.cntd.ru/document/1200177291 (дата обращения: 02.02.2022).
Богачева Р.А. Проблема недоопределенности значения термина «искусственный интеллект» // Гуманитарная информатика. 2011. № 6. С. 95–100.
Замков А.В. Новостной медиаробот: теоретические аспекты интеллектуальной системы генерации контента // Вопросы теории и практики журналистики. 2019. Т. 8. № 2. С. 260–273.
Замков А.В., Крашенинникова М.А., Лукина М.М., Цынарева Н.А. Роботизированная журналистика: от научного дискурса к журналистскому образованию // Медиаскоп. 2017. Вып. 2. Режим доступа: http://www.mediascope.ru/2295
Шестерина А.М., Шестерин Н.О. О корректности использования термина «искусственный интеллект» в медиасфере // Ученые записки Новгород. гос. ун-та им. Ярослава Мудрого. 2020. № 4 (29). С. 1–5.
Davey A. (1979) Discourse Production. Edinburgh: Edinburgh University Press.
Kim D., Lee J. (2018) Designing an Algorithm-Driven Text Generation System for Personalized and Interactive News Reading. International Journal of Human–Computer Interaction 35: 109–122.
Kruijff G.-J., Teich E., Bateman J., Kruijff-Korbayová I. et al. (2000) Multilinguality in a Text Generation System for Three Slavic Languages. In: Proceedings of the 18th International Conference on Computational Linguistics. V. 1. Pennsylvania, USA: Association for Computational Linguistics, pp. 474 – 480. Режим доступа: https://doi.org/10.3115/990820.990889 (дата обращения: 02.02.2022).
McKeown K.R. (1985) Discourse Strategies for Generating Natural Language text. Artificial Intelligence Journal 27: 1–41.
van der Haak B., Parks M., Castells M. (2012) The Future of Journalism: Networked Journalism. Rethinking Journalism in the Networked Digital Age. International Journal of Communication 6: 2923–2938.
William C., Mann W.C., Moore J.A. (1981) Computer Generation of Multiparagraph English Text. American Journal of Computational Linguistics 7 (1): 17–29.
Дата поступления в редакцию: 03.09.2022
Дата публикации:20.10.2022
