Применение больших языковых моделей для анализа ценностно-патриотического дискурса русскоязычных пользователей

Обложка

Цитировать

Полный текст

Аннотация

В статье рассматриваются возможности применения больших языковых моделей (LLM) для автоматизированного анализа ценностно-патриотического дискурса русскоязычных пользователей социальных медиа. На материале корпуса сообщений из VK, «Одноклассников» и Telegram (2023–2025 гг.) исследуется, насколько результаты автоматической кодировки совпадают с экспертной разметкой по специально разработанной категориальной схеме. Кодбук включает восемь измерений: базовые ценности по Ш. Шварцу, две оси Р. Инглхарта (традиционализм / светскость; выживание / самовыражение), уровни потребностей по А. Маслоу, типы патриотизма (конструктивный / агрессивный) по мотивам К.Д. Ушинского и В.С. Соловьёва, доминирующие типы речевых актов по Дж. Остину, а также бинарные индикаторы эксплицитного патриотизма и гражданской идентичности. Эксперимент проведён на кластере сообщений «Гордость и патриотизм» (N = 456), где плотность ценностных маркеров максимально высока; сопоставление реализовано через матрицы ошибок, accuracy, macro/weighted F1 и коэффициент κ Коэна. Показано, что LLM надёжно выделяет эксплицитную патриотическую тематику, но существенно менее согласована с экспертами примногоклассовой и тонкой ценностной классификации (Шварц, Маслоу, шкалы Инглхарта, типы патриотизма,речевые акты Остина), демонстрируя систематические смещения и гипердиагностику отдельных категорий. Сделан вывод, что LLM в текущей конфигурации может использоваться как вспомогательный инструмент предварительной разметки и генерации гипотез, но не как автономный заменитель экспертного контент-анализа ценностного дискурса

Об авторах

Ю. В. Балакина

Национальный исследовательский университет «Высшая школа экономики»

Автор, ответственный за переписку.
Email: julianaumova@gmail.com

кандидат филологических наук, доцент, профессор

Россия, Нижний Новгород

М. В. Григорьева

Национальный исследовательский университет «Высшая школа экономики»

Email: mariya.grigoreva@hse.ru

старший преподаватель

Россия, Москва

Е. Н. Соколова

Национальный исследовательский университет «Высшая школа экономики»

Email: e.sokolova@hse.ru

кандидат политических наук, заведующая проектно-учебной лабораторией

Россия, Москва

Список литературы

  1. Schwartz S. H. Universals in the content and structure of values: Theoretical advances and empirical tests in 20 countries // Advances in Experimental Social Psychology. 1992. Vol. 25. Pр. 1–65. https://doi.org/10.1016/S0065-2601(08)60281-6.
  2. Соловьёв В.С. Патриотизм // Энциклопедический словарь Брокгауза и Ефрона. Т. XXIII: Патенты на изобретения — Петропавловский. СПб.: Тип.-лит. И.А. Эфрона, 1898. С. 36–38.
  3. Соловьёв В.С. О народности и народных делах в России (О соединении Церк-вей). 1884.
  4. Соловьёв В.С. Национальный вопрос в России. Вып. 1. СПб., 1891.
  5. Козлова Н.Н., Рассадин С.В. Сетевой дискурс патриотических онлайн-сообществ в современной России: проблемное поле и аксиологические модусы // Вестник Российского университета дружбы народов. Серия: Политология (RUDN Journal of Political Science). 2025. Т. 27. № 3. С. 494–506. doi: 10.22363/2313-1438-2025-27-3-494-506.
  6. Анкудинов И.А. Патриотический дискурс в Рунете: до и после 24 февраля 2022 г. // Мониторинг общественного мнения: экономические и социальные перемены. 2024. № 2. С. 153–177. doi: 10.14515/monitoring.2024.2.2515. URL: https://doi.org/10.14515/monitoring.2024.2.2515.
  7. Petrovska I. Typology of civic identity // Current Issues in Personality Psychology. 2022. Vol. 11. № 2. Pр. 150–161. doi: 10.5114/cipp.2022.116324.
  8. World Values Survey Association. Inglehart–Welzel Cultural Map. 2023 version. https://www.worldvaluessurvey.org/WVSNewsShow.jsp?ID=467
  9. Inglehart R., Welzel C. Modernization, Cultural Change, and Democracy. Cambridge: Cambridge University Press, 2005. doi: 10.1017/CBO9780511790881.
  10. Austin J.L. How to Do Things with Words. Oxford: Clarendon Press, 1962. (2nd ed. / Ed. by J.O. Urmson, M. Sbisà. Oxford: Clarendon Press, 1975).
  11. Searle J. R. Speech Acts: An Essay in the Philosophy of Language. Cambridge: Cam-bridge University Press, 1969. doi: 10.1017/CBO9781139173438.
  12. Milkova M., Rudnev M., Okolskaya L. Detecting value-expressive text posts in Rus-sian social media: Препринт, arXiv:2312.08968. 2023. doi: 10.48550/arXiv.2312.08968.
  13. Plotnikov T. Analyzing GPT-4 Misinterpretations of Russian Grammatical Construc-tions // Linguística. Revista de Estudos Linguísticos da Universidade do Porto. 2024. Vol. 19. Pр. 157–182. doi: 10.21747/16466195/ling19a7.
  14. Zhang Y., Zou C., Lian Z., Tiwari P., Qin J. SarcasmBench: Towards Evaluating Large Language Models on Sarcasm Understanding: Препринт, arXiv:2408.11319, v1 от 21.08.2024. 2024. doi: 10.48550/arXiv.2408.11319.
  15. Zhou J. An Evaluation of State-of-the-Art Large Language Models for Sarcasm Detec-tion: Препринт, arXiv:2312.03706, v1 от 07.10.2023. 2023. doi: 10.48550/arXiv.2312.03706.
  16. Bojić L., Zagovora O., Zelenkauskaite A. et al. Comparing large language models and human annotators in latent content analysis of sentiment, political leaning, emotional intensity and sarcasm // Scientific Reports. 2025. Vol. 15. Art. 11477. https://doi.org/10.1038/s41598-025-96508-3.
  17. Gilardi F., Alizadeh M., Kubli M. ChatGPT outperforms crowd workers for text-annotation tasks // Proceedings of the National Academy of Sciences. 2023. Vol. 120. No. 30. e2305016120. doi: 10.1073/pnas.2305016120. URL: https://www.pnas.org/doi/10.1073/pnas.2305016120.

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML

© Балакина Ю.В., Григорьева М.В., Соколова Е.Н., 2026

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).