Methods for selecting the median ranking and evaluating the consistency of expert assessments by the proximity criterion
- Authors: Korneenko V.P.1
-
Affiliations:
- V.A. Trapeznikov Institute of Control Sciences of RAS
- Issue: No 103 (2023)
- Pages: 135-170
- Section: Control of social-economic systems
- URL: https://medbiosci.ru/1819-2440/article/view/363800
- DOI: https://doi.org/10.25728/ubs.2023.103.6
- ID: 363800
Cite item
Full Text
Abstract
In the development of the theory of expert assessments, the exceptional role of the position and the median of ranking, known as the Kemeny median, has been revealed. However, there is no optimal solution method for finding the median of the rankings represented by the matrices of binary relations according to the distance matrix criterion. The validity of the optimal solution to the problem of choosing the median in the space of the rank scale of measurement is due to the fact that there is a one-to-one correspondence between the rankings represented by binary relation matrices on a set of pairs of objects and the rankings in the rank scale. It is also an important task to check the consistency of the opinions of the expert group. The existing statistical methods and methods of rank correlation do not measure the consistency of expert opinions, if by which we mean the measure of proximity between expert assessments of objects.. The article shows by concrete examples that the Kendal concordance coefficient, which is still found in the works of some authors, does not allow for a realistic assessment of the consistency of expert rankings, which can lead to erroneous management decisions. A method is proposed for evaluating the opinions of both a pair of experts and a group of experts, in the form of an average agreement of experts with respect to the median of rankings presented in the ranking scale.
About the authors
Viktor Pavlovich Korneenko
V.A. Trapeznikov Institute of Control Sciences of RAS
Email: vkorn@ipu.ru
Moscow
References
1. АЛЕСКЕРОВ Ф.Т., БАУМАН Е.В., ВОЛЬСКИЙ В.И. Методы обработки интервальных экспертных оценок // Автоматика и телемеханика. – 1984. – Вып. 3. – С. 127–133. 2. АВЧУХОВА Е.В. Оценка согласованности экспертов при отборе персонала // Вестник Самарской гуманитар-ной академии. Серия «Психология». – 2018. – №1(23). – С. 136–150. 3. АНОХИН А.Н. Методы экспертных оценок. – Обнинск: ИАТЭ, 1996. – 148 с. 4. БЕЛОУС В.В., СПИРИДОНОВ С.Б., ПОСТНИКОВ В.М. Подход к ранжированию контрольных мероприятий по дисциплинам направления «Информатика и вычисли-тельная техника» и оценке вариантов их проведения // Интернет-журнал «НАУКОВЕДЕНИЕ». – 2017. – Т. 9, №2. – URL: http://naukovedenie.ru/PDF/102TVN217.pdf. 5. БЕШЕЛЕВ С.Д., ГУРВИЧ Ф.Г. Математико-статистические методы экспертных оценок. – М.: Ста-тистика, 1980. – 263 с. 6. ГОРСКИЙ В.Г., ГРИЦЕНКО А.А., ОРЛОВ А.И. Метод согласования кластеризованных ранжировок // Автома-тика и телемеханика. – 2000. – № 3. – С. 159–167. 7. ГЛОТОВ В.А., ПАВЕЛЬЕВ В.В. Векторная стратифи-кация. – М.: Наука, 1984. – 95 с. 8. ГУЦЫКОВА С.В. К вопросу согласованности эксперт-ных оценок профессионально важных качеств // Знание. Понимание. Умение. – 2009. – №4. – С. 200–204. 9. ДАНЕЛЯН Т.Я. Формальные методы экспертных оценок // Прикладная информатика. – 2015.– № 1. – С. 183–187. 10. КАБАНОВ В.А., КОМАРОВА Е.С. Использование мето-да конкордации в оценке уровня согласованности экс-пертных мнений // Реакция региональной экономики на внешние вызовы: материалы межвузовской научно-практической конференции 18 ноября 2016 г. – Влади-мир: Владимирский филиал РАНХиГС, 2016. – C. 39–42. 11. КЕМЕНИ Д., СНЕЛЛ Д. Кибернетическое моделирова-ние: Некоторые приложения. – М.: Советское радио, 1972. – 192 с. 12. КЕНДЭЛ М. Ранговые корреляции. – М.: Мир, 1975. – 216 с. 13. КОЛМОГОРОВ А.Н., ФОМИН С.В. Элементы теории функции и функционального анализа. – М.: ФИЗМАТ-ЛИТ, 2004. – 572 с. 14. КОРНЕЕНКО В.П. Методы оптимизации. – М.: Высшая школа, 2007. – С. 271–274. 15. КОРНЕЕНКО В.П. Оптимизационный метод выбора ре-зультирующего ранжирования объектов, представлен-ных в ранговой шкале измерения // Управление больши-ми системами. – 2019. – Вып. 82. – С. 44–60. 16. ЛИТВАК Б.Г. Экспертная информация: Методы полу-чения и анализа. – М.: Радио и связь, 1982. – 184 с. 17. МАНУСОВ В.З., КРЮКОВ Д.О., АХЬЁЕВ ДЖ.С. Согла-сование экспертных оценок при диагностике текущего технического состояния высоковольтного электрообо-рудования // Доклады АН ВШ РФ. – 2017. – № 1(34). – С. 72–84. 18. МЕЛЬНИКОВА О.А., ПЕТРОВ А.Ю., ХАФИЗОВА А.В. Оценка согласованности мнений экспертов при прове-дении метода экспертной оценки в службе медицины катастроф // Успехи современного естествознания. – 2013. – №6. – С. 54–57. 19. МАГНУС Я.Р., КАТЫШЕВ П.К., ПЕРЕСЕЦКИЙ А.А. Эконометрика. Начальный курс. – М.: Дело, 2007. – 504 с. 20. МИРКИН Б.Г. Проблема группового выбора. – М.: Наука, 1974. – 256 с. 21. НОВИКОВ Д.А., ОРЛОВ А.И. Экспертные оценки – ин-струменты аналитика // Заводская лаборатория. – 2013. – Т. 79, №4. – С.3–4. 22. ОРЛОВ А.И. Роль медиан Кемени в экспертных оценках и статистическом анализе данных // Труды междуна-родной научно-практической конференции «Теория ак-тивных систем» (14–16 ноября 2011 г., Москва, Россия). Том I. / Под общ. ред. В.Н. Буркова, Д.А. Новикова. – М.: ИПУ РАН, 2011. – С. 172–176. – URL: http://ej.kubagro.ru/2013/09/pdf/114.pdf. 23. ОРЛОВ А.И. Организационно-экономическое модели-рование. Ч. 2 : Экспертные оценки. – М.: Изд-во МГТУ им. Н.Э. Баумана. – 2011. – 486 с. 24. ОРЛОВ А.И. Анализ экспертных упорядочений // Науч-ный журнал КубГАУ. – 2015. – №112 (08).– С. 1–31. – URL: http://ej.kubagro.ru/2015/08/pdf/02.pdf. 25. ОРЛОВ А.И. Средние величины и законы больших чисел в пространствах произвольной природы [Электронный ресурс] // Научный журнал КубГАУ. – 2013. – №89(05). – URL: http://www.mtas.ru/theory/orlov2011a.pdf. 26. ПАДЕРНО П.И., БУРКОВ Е.А., ЕВГРАФОВ В.Г. Крите-рий согласованности парных cравнений // Информаци-онно-управляющие системы. – 2011. – №3(52). – C. 57–60. 27. ПЕТРИЧЕНКО Г.С., ПЕТРИЧЕНКО В.Г. Экспертное оценивание при выборе эффективного мероприятия // Научные ведомости Белгородского университета. – 2015. – №13(210). – Вып. 35/1. – С. 122–127. 28. ПФАНЦАГЛЬ И. Теория измерений . – М.: Мир, 1976. – 247 с. 29. РУГОЛЬ Л.В., МЕНЬШИКОВА Л.И., СОН И.М. Приме-нение метода экспертных оценок для обоснования меро-приятий по совершенствованию организации работы центральных районных больниц // Профилактическая ме-дицина. – 2022. – №25(4). – С. 19–28. 30. СИДЕЛЬНИКОВ Ю.В. Экспертное прогнозирование (Expert prognosyication). – М.: Доброе слово, 2018. – 248 с. 31. ХОРН Р., ДЖОНСОН Ч. Матричный анализ. – М.: Мир, 1989. – 352 с. 32. ШМЕРЛИНГ Д.С., ДУБРОВСКИЙ С.А., АРЖАНО-ВА Т.Д., ФРЕНКЕЛЬ А.А. Экспертные оценки. Методы и применения // Статистические методы анализа эксперт-ных оценок. Ученые записки по статистике. Том 29 – М.: Наука, 1977. – С. 290–382. 33. ШМЕРЛИНГ Д.С., КУЗНЕЦОВА Т.Ю., ЧЕБОТА-РЕВ П.Ю., ЧУРКИН Э.П. Применение экспертных оце-нок для задач стратегического планирования. – М.: Московская школа экономики VUE, 2008. – 36 с. 34. ШМЕРЛИНГ Д.С. О проверке согласованности мнений экспертов // Статистические методы анализа экспертных оценок. – М.: Наука, 1977. – С. 77–83. 35. KEMENY J.G., SNELL J.L. Mathematical Models in the So-cial Sciences. – New York, University of Michigan. – 1962. – 168 p. 36. JACKSON B.N., SCHNABLE P.S., ALURU S. Consensus Genetic Maps as Median Orders from Inconsistent Sources // IEEE/ACM Trans. on Computational Biology and Bioin-formatics. – 2008. – Vol. 5, No. 2. – P. 161–171. 37. ISHIZAKA A., LABIB A. Analytic hierarchy process and Expert Choice: benefits and limitation // ORinsight. – 2009. – Vol. 24. – P. 201–220.
Supplementary files
