Development and approbation of a test of students’ communicative competencies in the context of learning English

Cover Page

Cite item

Full Text

Abstract

Background.The relevance of the study is related to the need of developing methods for objectively assessing the level of students’ communicative competencies in English. Modern requirements for specialists’ training imply a high level of foreign language proficiency, which ensures the competitiveness of graduates in the international labor market. The development of a reliable and valid test will identify the strengths and weaknesses of students, improve the quality of the educational process and ensure effective training of professionals ready for productive interaction in a multicultural environment. The theoretical construct of the developed test and the psychometric verification of the test components are presented. It is external and internal validity.

Purpose. The article is a summary of the work carried out to create and verification the effectiveness of a test aimed at assessing the level of students' communicative competence formation in the process of mastering English.

Materials and methods. The basis of the study is the theoretical justification, empirical verification and application of methods of quantitative analysis of diagnostic results, as well as methods of descriptive and comparative statistics.

Results. The validity of the communicative competencies test has been proved on a sample of linguistic and non-linguistic students’ specialties (n = 155). It has been established that self-esteem in mastering a foreign language among students is a system-forming factor. Mediation takes an orthogonal, isolated position in relation to its practical application. This highlights the importance of integration, the inclusion of mediation in the context of learning English and the integrated development of the student.

Practical implications. This study is important both for the practical implementation of educational projects and for fundamental research in the field of pedagogy and psychology in teaching foreign languages. The developed test can be used to identify problem areas in the educational process, allowing for timely introduction of necessary changes.

About the authors

Natalia N. Kasatkina

P.G. Demidov Yaroslavl State University

Author for correspondence.
Email: ninet75@mail.ru
ORCID iD: 0000-0002-6757-9622
SPIN-code: 6383-2290

PhD in Pedagogy, Associate Professor, Head of the Institute, Head of Foreign Languages Department of Humanitarian Faculties

 

Russian Federation, 14, Sovetskaya Str., Yaroslavl, 150000, Russian Federation

References

  1. Abramova, E. A. (2022). Lack of mediation techniques and tools as a pedagogical deficit in foreign language teaching methodology. Philological Sciences. Issues of Theory and Practice, 15(8), 2736–2740. https://doi.org/10.30853/phil20220442. EDN: https://elibrary.ru/HJNEMR
  2. Vygotsky, L. S. (2003). Psychology of child development [Collection of selected works] (512 pp). Moscow: EKSMO. ISBN: 5699035249. EDN: https://elibrary.ru/QXGCBL
  3. Isaeva, E. V. (2021). Developing a methodology for mediation of transdiscursive knowledge transfer: at the intersection of cognitive and computational linguistics. Perm University Herald. Russian and Foreign Philology, 2, 25–35. https://doi.org/10.17072/20736681202122535. EDN: https://elibrary.ru/GAZVTC
  4. Kasatkina, N. N., & Tevs, V. V. (2023). Assessing the mediative aspect of students’ communicative competence. Yaroslavl Pedagogical Bulletin, 6(135), 62–71. https://doi.org/10.20323/1813145X_2023_6_135_62. EDN: https://elibrary.ru/ISZNEZ
  5. Kasatkina, N. N., & Titova, L. A. (2022). Individualizing foreign language instruction based on constructing a learner’s linguistic profile. Yaroslavl Pedagogical Bulletin, 6(129), 76–82. https://doi.org/10.20323/1813145X202261297682. EDN: https://elibrary.ru/LHOJLP
  6. Kasatkina, N. N., Titova, L. A., & Sannikova, S. V. (2022). Ways of forming a learner’s linguistic profile. Bulletin of South Ural State Humanitarian Pedagogical University, 3(169), 138–164. https://doi.org/10.25588/CSPU.2022.49.49.007. EDN: https://elibrary.ru/JWVGMX
  7. Morozova, A. L., Kostyukova, T. A., Pushkareva, I. A., & Morozova, D. M. (2021). Developing language mediation skills among nonlinguistic university students in foreign language learning. Tomsk State University Journal, 193, 58–72. https://doi.org/10.20310/181002012021261935872. EDN: https://elibrary.ru/XFOOMH
  8. Sergienko, E. A. et al. (2024). Development and psychometric validation of a test to assess emotional intelligence in adolescents (TEIP). Experimental Psychology, 17(1), 198–213. https://doi.org/10.17759/exppsy.2024170113. EDN: https://elibrary.ru/CZUHNY
  9. Uskova, T. V. (2022). Culturespecific features of the language of mediation. Bulletin of Moscow State Linguistic University. Humanities, 9(864), 119–127. https://doi.org/10.52070/25422197_2022_9_864_119. EDN: https://elibrary.ru/ASPGED
  10. Rosstat. (2020). Sustainable development goals in the Russian Federation. 2020: Brief article collection (79 p.). Moscow.
  11. Chikrizova, K. V. (2024). Linguodidactic and interdisciplinary analysis of the concept of mediation as a terminological problem. Bulletin of Tambov University. Series: Humanities, 29(4), 891–902. https://doi.org/10.20310/181002012024294891902. EDN: https://elibrary.ru/DKGZUY
  12. Chumikov, A. N. (2023). Mediation in the system of conflictology of social relations: current state and development prospects. Sociological Science and Social Practice, 11(2), 41–56. https://doi.org/10.19181/snsp.2023.11.2.3. EDN: https://elibrary.ru/LHGEXP
  13. Shakirova, N. Yu., Kasatkina, N. N., Lichak, N. A., & Dandanova, S. V. (2020). Gamification as a means of effective learning of new foreign vocabulary. Yaroslavl Pedagogical Bulletin, 5(116), 82–87. https://doi.org/10.20323/1813145X202051168287. EDN: https://elibrary.ru/LVJOOE
  14. Golder, J., & Bengal, W. (2018). Constructivism: A paradigm for teaching and learning. International Journal of Research and Analytical Reviews, 5(3), 678–686.
  15. Horng, J. S. et al. (2022). Student’s perceptions of sharing platforms and digital learning for sustainable behaviour and value changes. Journal of Hospitality, Leisure, Sport & Tourism Education, 31, Article 100380 (pp. 1–15). https://doi.org/10.1016/j.jhlste.2022.100380. EDN: https://elibrary.ru/JNXCKV
  16. Kozulin, A. (1998). Psychological tools: A sociocultural approach to education (182 p). Harvard University Press.
  17. Lumsden, J. et al. (2016). Gamification of cognitive assessment and cognitive training: A systematic review of applications and efficacy. JMIR Serious Games, 4(2), Article e5888 (pp. 1–12). https://doi.org/10.2196/games.5888
  18. Maier, U., & Klotz, C. (2022). Personalized feedback in digital learning environments: Classification framework and literature review. Computers and Education: Artificial Intelligence. https://doi.org/10.1016/j.caeai.2022.100080. EDN: https://elibrary.ru/MSYQFX
  19. Mambrey, S. et al. (2020). The impact of system specifics on systems thinking. Journal of Research in Science Teaching, 57(10), 1632–1651. https://doi.org/10.1002/tea.21649. EDN: https://elibrary.ru/DBMXVZ
  20. North, B., & Piccardo, E. (2016). Developing illustrative descriptors of aspects of mediation for the CEFR. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. Strasbourg: Council of Europe.
  21. Ofem, U. J. (2023). Adjustment tendencies among transiting students: A mediation analysis using psychological wellbeing indices. International Journal of Education and Cognitive Sciences, 4(3), 1–19. https://doi.org/10.61838/kman.ijecs.4.3.1. EDN: https://elibrary.ru/VGFXEN
  22. Ofem, U. J. (2023). Adjustment tendencies among transiting students: A mediation analysis using psychological wellbeing indices. International Journal of Education and Cognitive Sciences, 4(3), 1–19. https://doi.org/10.61838/kman.ijecs.4.3.1. EDN: https://elibrary.ru/VGFXEN
  23. Oliveira, K. K., & de Souza, R. A. (2022). Digital transformation towards education 4.0. Informatics in Education, 21(2), 283–309. https://doi.org/10.15388/infedu.2022.13. EDN: https://elibrary.ru/BLRTSB
  24. Stolfo, A., Belinkov, Y., & Sachan, M. (2023). A mechanistic interpretation of arithmetic reasoning in language models using causal mediation analysis. arXiv preprint. https://doi.org/10.48550/arXiv.2305.15054

Supplementary files

Supplementary Files
Action
1. JATS XML
Download


Creative Commons License
This work is licensed under a Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License.

Согласие на обработку персональных данных с помощью сервиса «Яндекс.Метрика»

1. Я (далее – «Пользователь» или «Субъект персональных данных»), осуществляя использование сайта https://journals.rcsi.science/ (далее – «Сайт»), подтверждая свою полную дееспособность даю согласие на обработку персональных данных с использованием средств автоматизации Оператору - федеральному государственному бюджетному учреждению «Российский центр научной информации» (РЦНИ), далее – «Оператор», расположенному по адресу: 119991, г. Москва, Ленинский просп., д.32А, со следующими условиями.

2. Категории обрабатываемых данных: файлы «cookies» (куки-файлы). Файлы «cookie» – это небольшой текстовый файл, который веб-сервер может хранить в браузере Пользователя. Данные файлы веб-сервер загружает на устройство Пользователя при посещении им Сайта. При каждом следующем посещении Пользователем Сайта «cookie» файлы отправляются на Сайт Оператора. Данные файлы позволяют Сайту распознавать устройство Пользователя. Содержимое такого файла может как относиться, так и не относиться к персональным данным, в зависимости от того, содержит ли такой файл персональные данные или содержит обезличенные технические данные.

3. Цель обработки персональных данных: анализ пользовательской активности с помощью сервиса «Яндекс.Метрика».

4. Категории субъектов персональных данных: все Пользователи Сайта, которые дали согласие на обработку файлов «cookie».

5. Способы обработки: сбор, запись, систематизация, накопление, хранение, уточнение (обновление, изменение), извлечение, использование, передача (доступ, предоставление), блокирование, удаление, уничтожение персональных данных.

6. Срок обработки и хранения: до получения от Субъекта персональных данных требования о прекращении обработки/отзыва согласия.

7. Способ отзыва: заявление об отзыве в письменном виде путём его направления на адрес электронной почты Оператора: info@rcsi.science или путем письменного обращения по юридическому адресу: 119991, г. Москва, Ленинский просп., д.32А

8. Субъект персональных данных вправе запретить своему оборудованию прием этих данных или ограничить прием этих данных. При отказе от получения таких данных или при ограничении приема данных некоторые функции Сайта могут работать некорректно. Субъект персональных данных обязуется сам настроить свое оборудование таким способом, чтобы оно обеспечивало адекватный его желаниям режим работы и уровень защиты данных файлов «cookie», Оператор не предоставляет технологических и правовых консультаций на темы подобного характера.

9. Порядок уничтожения персональных данных при достижении цели их обработки или при наступлении иных законных оснований определяется Оператором в соответствии с законодательством Российской Федерации.

10. Я согласен/согласна квалифицировать в качестве своей простой электронной подписи под настоящим Согласием и под Политикой обработки персональных данных выполнение мною следующего действия на сайте: https://journals.rcsi.science/ нажатие мною на интерфейсе с текстом: «Сайт использует сервис «Яндекс.Метрика» (который использует файлы «cookie») на элемент с текстом «Принять и продолжить».