Implementation and testing of an automatic data processing algorithm for a digital oculograph

Cover Page

Cite item

Full Text

Open Access Open Access
Restricted Access Access granted
Restricted Access Subscription Access

Abstract

A digital infrared oculograph has been created to record eye movements. Miniature cameras with a frame rate of 500 Hz and a high spatial resolution of 1440 × 1080 px, located on spectacle frames, have been used. A technology for analyzing oculograms and algorithm for detecting the temporal characteristics of saccades and gaze fixations has been developed. The oculogram analysis algorithm has been matched with measurements of other physiological parameters. Discriminant analysis has been used for statistical processing and evaluation of the effectiveness of the developed algorithm. The technology has been tested based on a study of eye movements in 500 subjects. The duration and speed of eye movements have been measured in 16 experiments. Oculograms have been analyzed and sets corresponding to fixations and saccades have been obtained. An algorithm for automatic search for these parameters has been developed. The description of coordinates of the receiving matrices of video cameras and displays on which stimuli were presented has been matched for the spectacle-type oculograph. The algorithm for detecting the main temporal and spatial characteristics provides classification of saccades and gaze fixations (between saccades) when searching for a target by an operator in different conditions. Correction of coordinate systems is provided when the monitor and video camera reference points do not match, accounting for the offset and rotation of the video camera coordinate system relative to the monitor coordinate system is introduced. It is shown that the algorithm provides reliable results for subsequent analysis and interpretation of gaze movements with a recognition level of 0.97. The implemented algorithm is included in the Neurobureau hardware and software complex, which is in demand in management structures, in industry, transport, marketing and medicine, coordinated with other devices for physiological control of cognitive functions directly during the study, control and correction of operator actions when searching for a target.

About the authors

E. Yu. Shelepin

Pavlov Institute of Physiology, Russian Academy of Sciences

Email: shelepiney@infran.ru
ORCID iD: 0000-0002-3124-5540
199034, Makarov emb., 6, St. Petersburg, Russian Federation

K. A. Skuratova

Pavlov Institute of Physiology, Russian Academy of Sciences

Email: kseskuratova@gmail.com
ORCID iD: 0000-0001-8371-4348
199034, Makarov emb., 6, St. Petersburg, Russian Federation

P. A. Lekhnitskaya

Kazan Federal University

Email: lekhnitskaya.polina@gmail.com
ORCID iD: 0000-0002-3689-3213
420008, Kremlevskaya St., 18-1, Kazan, Russian Federation

K. Yu. Shelepin

Pavlov Institute of Physiology, Russian Academy of Sciences; Institute of Cognitive Sciences and Neurotechnology of the Federal State Budgetary Institution Serbsky National Medical Research Centre for Psychiatry and Narcology of Ministry of Health of the Russian Federation

Email: shelepin.k@serbsky.ru
ORCID iD: 0000-0003-2218-9716
199034, Makarov emb., 6, St. Petersburg, Russian Federation; 119002, Maly Mogiltsevskiy pereulok, 3, Moscow, Russian Federation

References

  1. Barabanshchikov V.A., Zhegallo A.V. Aytreking: Metody registratsii dvizheniy glaz v psikhologicheskikh issledovaniyakh i praktike [Eye tracking: Methods of recording eye movements in psychological research and practice]. M.: Kogito-Tsentr, 2014. 128 p. ISBN 978-5-89353-415-3 (in Russ.)
  2. Gassovskiy L.N., Nikol’skaya N.A. Dvizheniya glaz v protsesse nepreryvnoy fiksatsii tochki [Eye movements during continuous fixation of a point]. Trudy GOI. 1941. T. 15. P. 112–120 (in Russ.)
  3. Kalambet Yu.A., Kozmin Yu.P., Samokhin A.S. Noise filtering. Comparative analysis of methods. Analytics. 2017. Vol. 36. No. 5. P. 88–101.
  4. Skuratova K.A., Shelepin Ye.Yu., Shelepin K.Yu. Programmnyye vozmozhnosti primeneniya metoda aytrekinga v issledovaniyakh zritel’nogo vospriyatiya [Software capabilities for using the eye tracking method in studies of visual perception]. Rossiyskiy psikhologicheskiy zhurnal. 2022. T. 19. № 4. P. 173−185. (in Russ.) https://doi.org/10.21702/rpj.2022.4.12
  5. Yarbus A.L. Rol’ dvizheniya glaz v protsesse zreniya [The role of eye movement in the process of vision]. M.: Nauka. 1965. 167 p. (in Russ.)
  6. Akshay S., Megha Y.J., Shetty C.B. Machine learning algorithm to identify eye movement metrics using raw eye tracking data. Third International Conference on Smart Systems and Inventive Technology (ICCIT). IEEE. 2020. P. 949−995.
  7. Barlow H.B. Eye movements during fixation. J. Physiol. I952. P. 290–306.
  8. Birawo B., Kasprowski P. Review and evaluation of eye movement event detection algorithms. Sensors. 2022. V. 22 (22). P. 8810. https://doi.org/10.3390/s22228810
  9. Drews M., Dierkes K. Strategies for enhancing automatic fixation detection in head-mounted eye tracking. Behavior Research Methods. 2024. V. 56. P. 1–23. https://doi.org/10.3758/s13428-024-02360-0
  10. Graham L., Das J., Vitorio R., McDonald C., Walker R., Godfrey A., Morris R., Stuart S. Ocular microtremor: a structured review. Experimental Brain Research. 2023. V. 241. P. 2191–2203. https://doi.org/10.1007/s00221-023-06691-w
  11. Hooge I.T.C., Niehorster D.C., Nystrom M., Andersson R., Hessels R.S. Fixation classification: how to merge and select fixation candidates. Behavior Research Methods. 2022. V. 54. P. 2765–2776.
  12. Llanes-Jurado J., Marin-Morales J., Guixeres J., Alcaniz M. Development and calibration of an eye-tracking fixation identification algorithm for immersive virtual reality. Sensors. 2020. V. 20. P. 4956. https://doi.org/10.3390/s20174956
  13. Nyström M., Holmqvist K. An adaptive algorithm for fixation, saccade, and glissade detection in eyetracking data. Behavior research methods. 2010. V. 42 (1). P. 188−204. https://doi.org/10.3758/BRM.42.1.188
  14. Salvucci D.D., Goldberg J.H. Identifying fixations and saccades in eye-tracking protocols. Proceedings of the Symposium on eye tracking research & applications – ETRA 2000. 2000. P. 71−78.
  15. Shelepin E. Eye tracking in expertise assessment case studies. Abstracts of Annual meeting of the Vision Sciences Society – VSS 2024, USA. 2024. P. 154–155. https://www.visionsciences.org/documents/VSS_2024_Abstracts.pdf
  16. Tabachnick B.G., Fidell L.S. Using Multivariate Statistics. (3rd ed.). New York: Harper Collins. 1996. 880 p. ISBNP 978-0673994141
  17. Trabulsi J., Norouzi K., Suurmets S., Storm M., Ramsøy T.Z. Optimizing Fixation Filters for Eye-Tracking on Small Screens. Front. Neurosci. 2021.V. 15. P. 578439. https://doi.org/10.3389/fnins.2021.578439

Supplementary files

Supplementary Files
Action
1. JATS XML
Download

Copyright (c) 2025 Russian Academy of Sciences

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».