Kulback-Leibler measure as a means of assessment learning process performance

Cover Page

Cite item

Full Text

Abstract

The purpose of this paper is to demonstrate the approach developed by the authors to assess the current performance of students using the Kullback-Leibler information measure. The methods used are informational, statistical methods. They found their application to the analysis of event pedagogy. The key events under investigation in the article are the results of computerized testing. They can be considered as random events that are influenced by different circumstances and the events are difficult to control. The paper uses the well-known Kullback-Leibler information method. In order for an information method to become a working applied technology, it must be accompanied by a number of additional procedures and tasks related to 1) the preparation of data for the calculations, 2) the calculations themselves, taking into account the limitations and fulfilment of the applicability criteria of the method, and 3) possible techniques for analysing the results of the study. A description of these procedures can be found in the paper. The proposed method for evaluating student test scores takes into account expectations of student success based on prior academic achievement, as well as performance in the context of whole student group performance. In addition, the paper shows the consistency of the obtained results when comparing them with those obtained when using the Mann – Whitney method in pedagogy and psychology research in hypothesis testing. The scientific novelty of the work consists in building appropriate procedures with orientation on pedagogical applications. The presentation is based on the use of specific experimental data obtained as part of the current control after the study of a topic in physics. The practical significance of the work is seen in the possibility of applying the Kullback-Leibler measure to the study of the role of latent variables in the educational process, as well as in the course of experimental teaching by future candidates for degrees in pedagogy.

About the authors

Yulia Anatolevna Alyabysheva

Altai State Pedagogical University

Author for correspondence.
Email: alyabysheva_y@mail.ru
Barnaul, Russian Federation

Anatoliy Alekseyevich Veryayev

Altai State Pedagogical University

Email: veryaev_aa@mail.ru
Barnaul, Russian Federation

Yulia Eduardovna Losychenko

Branch of the Russian State Social University

Email: uliya_l@mail.ru
Anapa, Russian Federation

References

  1. Kullback S. Teoriya informatsii i statistika [Information theory and statistics]. Moscow, Nauka Publ., 1976. 409 p. (in Russian).
  2. Kullback S., Leibler R.A. On information and sufficiency. The Annals of Mathematical Statistics, 1951, no. 22 (1), pp. 79–86.
  3. Zvonnikov V.I. Sovremennye sredstva otsenivaniya rezul’tatov obucheniya [Modern means of assessing learning outcomes] Moscow, Akademiya Publ., 2007. 224 p. (in Russian).
  4. Agal’tsov V.P. Kontrol’ znaniy – dominiruyushchaya sostavlyayushchaya obrazovatel’nogo protsessa [Knowledge control is a dominant component of the educational process]. Informatika i obrazovaniye, 2005, no. 2, pp. 94–96 (in Russian).
  5. Bloom B.S., Engelhart M.D., Furst E.J., Hill W.H., Krathwohl D.R. Taxonomy of educational objectives. The classification of educational goals. NYC, David McKay Company, 1956. 216 p.
  6. Anderson L.W., Krathwohl D.R. A taxonomy for learning, teaching, and assessing: A revision of Bloom’s taxonomy of educational objectives. New York, Addison Wesley Longman, 2001. 333 p.
  7. Handbook of Polytomous Item Response Theory Models. Edited by Michael L. Nering, Remo Ostini. Routledge, 2010. 307 p.
  8. Kroker L., Algina Dzh. Vvedeniye v klassicheskuyu i sovremennuyu teoriyu testov [An introduction to classical and modern test theory]. Moccow, Logos Publ., 2010. 668 p. (in Russian).
  9. Rasch G. Probabilistic models for some intelligence and attainment tests. Chicago: University of Chicago Press, 1980. 199 p.
  10. Uchaikin V.V. Fractional Derivatives for Physicists and Engineers. Volume I: Background and Theory. Springer, 2013. 400 p.
  11. Reckase M.D. The difficulty of test items that measure more than one dimension. Applied Psychological Measurement, 1985, no. 9, pp. 401–412.
  12. Hadbook of Item Response Theory: Statistical Tools. Vol. 2 Edited by Wim J. van der Linden. CRC Press, 2016. 442 p.
  13. Wind S., Hua C. Rasch Measurement Theory Analysis in R. New York: Chapman and Hal, 2022. 323 p.
  14. D’Elia A., Piccolo D. A mixture model for preferences data analysis. Computational Statistics & Data Analysis, 2005, no. 49, pp. 917–934. URL: https://www.labstat.it/home/wp-content/uploads/2015/10/0deec526a04cff09db000000-1.pdf (accessed 10 January 2025).
  15. Corduas M. A statistical procedure for clustering ordinal data. Quaderni di statistica, 2008, no. 10, pp. 177–189. URL: https://www.labstat.it/home/wp-content/uploads/2015/03/Corduas_2008.pdf (accessed 10 January 2025).
  16. Bini M., Monari P., Piccolo D., Salmaso L. Statistical methods for the evaluation of educational services and quality of products, 2009. 243 p.
  17. Alyabysheva Yu.A., Antonov A.Yu., Veryaev A.A. Tsifrovizatsiya tezaurusnogo podkhoda v obrazovanii [Digitalisation of the thesaurus approach in education]. Informatika i obrazovaniye, 2020, no. 1, pp. 51–58 (in Russian).
  18. Bokova O.A., Veryaev A.A. Sub’’ektivnoye vospriyatiye neravenstva i nespravedlivosti shkol’nikami i studencheskoy molodezh’yu [Subjective perception of inequality and injustice by school and university students]. Perspektivy nauki i obrazovaniya – Perspectives of Science and Education, 2022; no. 2 (56), pp. 381–407 (in Russian).
  19. Samawi H.M, Yin J., Zhang X., Yu L., Rochani H. et al. Kullback-Leibler Divergence for Medical Diagnostics Accuracy and Cut-point Selection Criterion: How it is related to the Youden Index. J Appl Bioinforma Comput Biol, 2020, vol. 9, no. 2. URL: https://www.scitechnol.com/peer-review/kullbackleibler-divergence-for-medical-diagnostics-accuracy-and-cutpoint-selection-criterion-how-it-is-related-to-the-youden-index-zT5p.php?article_id=11036 (accessed 10 January 2025).
  20. Clim A., Zota R., Tinica G. Procedia. The Kullback-Leibler Divergence Used in Machine Learning Algorithms for Health Care Applications and Hypertension Prediction: A Literature Review. Computer Science, 2018, vol. 141, pp. 448–453.
  21. Applications of Information Theory to Epidemiology. URL: https://www.mdpi.com/journal/entropy/special_issues/epidemic (accessed 10 January 2025).
  22. Alyabysheva Yu.A., Veryaev A.A., Lozychenko Yu.E. Tekhnologiya prolongirovannogo otsenivaniya uchebnykh dostizheniy studentov pri ispol’ovanii informatsionnoy mery Kul’baka – Leyblera [Technology of prolonged assessment of students’ learning achievements using the Kulbak-Leibler information measure]. Informatizatsiya obrazovaniya i metodika elektronnogo obucheniya: tsifrovye tekhnologii v obrazovanii: materialy VIII Mezhdunarodnoy nauchnoy konferentsii. Krasnoyarsk, 24–27 sentyabrya 2024 g.: Chast’ 1 [Informatization of education and methods of e-learning: digital technologies in education: materials of the VIII International scientific conference Krasnoyarsk, September 24–27, 2024]. Krasnoyarsk, KSPU named after V.P. Astafyev Publ., 2024. Pp. 16–19 (in Russian).
  23. Krichevets A.N., Korneev A.A., Rasskazova E.I. Osnovy statistiki dlya psikhologov [Fundamentals of statistics for psychologists]. Moscow, Akropol’ Publ., 2019. p. 286. (in Russian).
  24. Korneev A.A., Krichevets A.N. Usloviya primenimosti kriteriev St’yudenta i Manna – Uitni [Conditions of applicability of Student’s and Mann–Whitney criteria]. Psikhologicheskiy zhurnal – Psychological Journal, 2011, vol. 32, no. 1, pp. 97–110 (in Russian).
  25. Alyabysheva Yu.A., Barakina T.V., Beylin M.V. et al. Geymifikatsiya v kontekste vospriyatiya i formirovaniya predstavleniy o neravenstve i nespravedlivosti [Gamification in the context of perceptions and perceptions of inequality and injustice]. Barnaul, AltGPU Publ., 2022. 212 p. (in Russian).
  26. Klarin M.V. Innovatsionnye modeli obucheniya: Issledovaniye mirovogo opyta [Innovative Models of Learning: A Study of Global Experiences]. Moscow, Luch Publ., 2016. 632 p. (in Russian).
  27. Boltyshev M.G. Geymifikatsiya tsifrovogo obucheniya: aktual’nye problemy [Gamification of digital learning: current issues]. Informatika i obrazovaniye, 2022, no. 37 (3), pp. 28–34 (in Russian).

Supplementary files

Supplementary Files
Action
1. JATS XML

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».