Причины искажения контента: анализ и классификация галлюцинаций в больших языковых моделях GPT

Обложка

Цитировать

Полный текст

Аннотация

В статье исследуются галлюцинации, возникающие в двух версиях большой языковой модели GPT – GPT-3.5-turbo и GPT-4. Основная цель работы заключается в изучении возможных источников и классификации галлюцинаций, а также в разработке стратегий для их решения. Выявлены проблемы, которые могут привести к генерации контента, не соответствующего фактологическим данным и вводящего пользователей в заблуждение. Результаты исследования имеют практическую значимость для разработчиков и пользователей языковых моделей, ввиду предоставленных подходов, повышающих качество и достоверность генерируемого контента.

Об авторах

Мадина Шамсуловна Маджумдер

Московский государственный лингвистический университет

Автор, ответственный за переписку.
Email: mmadzhumder@gmail.com

студентка кафедры информационно-аналитической деятельности

Россия, Москва

Диана Дмитриевна Бегунова

Московский государственный лингвистический университет

Email: dbegunova01@gmail.com

студентка кафедры информационно-аналитической деятельности

Россия, Москва

Список литературы

  1. Maynez J., Narayan Sh., Bohnet B., McDonald R. On Faithfulness and Factuality in Abstractive Summarization // arXiv eprints. 2020. 14 с. URL: https://arxiv.org/pdf/2005.00661.pdf (accessed 06.07.2023).
  2. Introducing ChatGPT // OpenAI. URL: https:// openai.com/blog/chatgpt (accessed 06.07.2023).
  3. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A., Kaiser L., Polosukhin L. Attention Is All You Need // arXiv e-prints. 2017. 15 с. URL: https://arxiv.org/pdf/1706.03762.pdf (accessed 06.07.2023).
  4. GPT-4 Technical Report / OpenAI // arXiv e-prints. 2023. 100 с. URL: https://arxiv.org/pdf/2303.08774.pdf (accessed 06.07.2023).
  5. Lightman H., Kosaraju V., Burda Y., Edwards H., Baker B., Lee T., Leike J., Schulman J., Sutskever I., Cobbe K. Let’s Verify Step by Step // arXiv e-prints. 2023. 29 с. URL: https://arxiv.org/pdf/2305.20050.pdf (accessed 06.07.2023).
  6. Peng K., Ding L., Zhong Q., Shen L., Liu X., Zhang M., Ouyang Yu., Tao D. Towards Making the Most of ChatGPT for Machine Translation // Cornell University. 2023. URL: https://arxiv.org/abs/2303.13780 (accessed 10.07.2023).
  7. Chen L., Zaharia M., Zou J. How Is ChatGPT’s Behavior Changing over Time? // arXiv eprints. 2023. 8 с. URL: https://arxiv.org/pdf/2307.09009.pdf (accessed 29.07.2023).
  8. All Systems Operational // OpenAI. URL: https://status.openai.com (accessed 06.07.2023).
  9. Brown T. B., Mann B., Ryder N., Subbiah M., Kaplan J., Dhariwal P., Neelakantan A., Shyam P., Sastry G., Askell A., Agarwal S., Herbert-Voss A., Krueger G., Henighan T., Child R., Ramesh A., Ziegler D.M., Wu J., Winter C., Hesse C., Chen M., Sigler E., Litwin M., Gray S., Chess B., Clark J., Berner C., McCandlish S., Radford A., Sutskever I., Amodei D. Language Models are Few-Shot Learners // arXiv e-prints. 2020. URL: https://arxiv.org/pdf/2005.14165.pdf (accessed 06.07.2023).
  10. Razzhigaev A., Salnikov M., Malykh V., Braslavski P., Panchenko A. A System for Answering Simple Questions in Multiple Languages // Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics. 2023. С. 524-537. URL: https://aclanthology.org/2023.acl-demo.51/ (accessed 29.07.2023).
  11. Models // OpenAI API. URL: https://platform.openai.com/docs/models/gpt-3-5 (accessed 06.07.2023).
  12. OpenAI Platform. URL: https://platform.openai.com/tokenizer (accessed 06.07.2023).

Дополнительные файлы

Доп. файлы
Действие
1. JATS XML
Скачать

Согласие на обработку персональных данных

 

Используя сайт https://journals.rcsi.science, я (далее – «Пользователь» или «Субъект персональных данных») даю согласие на обработку персональных данных на этом сайте (текст Согласия) и на обработку персональных данных с помощью сервиса «Яндекс.Метрика» (текст Согласия).