Пять вариантов проведения заочного консенсуса при серьезном завышении оценок экспертами

Как провести заочную консенсусную встречу экспертов, если многие оценки экспертов сильно завышены? Например, оценки завышены по сравнению с оценками ведущего эксперта. Если баллы начинают превалировать над здравым смыслом. Если эксперты не включают логику РАДАР.

заочный консенсус при завышении оценок экспертами Премии
«Мы тут ре..те…петировали!»

Данная проблема требует, порой, неординарных подходов. Предлагаю рассмотреть 5 возможных способов, среди которых пятый последний способ оцифрован. Потому можно будет безвозмездно (то есть, даром!) воспользоваться программами (файлами) для подведения итогов сложного консенсуса.


Хотя, разумеется, никто не отменял и остальные сотни и тысячи способов «разрулить ситуацию», в дополнение к нижеперечисленным…

Рассмотрим пять вариантов консенсуса: классический, силовой, арифметический, выборочный, математический.

Консенсус классический, он же радарный

Консенсус классический радарный
«Спасибо, сэр, что Вы напомнили мне, что это мой бифштекс!»

Представим себе, что консенсусная встреча экспертов идет. Эксперты работают, как научили. У каждого эксперта Комиссии есть на руках по 3 (2) оценки за каждую составляющую критериев (всего 88 оценок). У каждого в наличии свое индивидуальное Экспертное заключение. У каждого эксперта налицо навыки участия в классической консенсусной встрече.

Сидят, обсуждают каждую оценку. Применяют логику РАДАР везде и всюду. Вычленяют походы, там где они есть. Выбирают результаты там, где они есть. Оценивают строго, объективно и непредвзято по отношению к конкурсанту.

Постоянно обо всем договариваются между собой:

– Вы со мной согласны, коллега?

– О, я-я, натюрлих!

или другой вариант ответа, например:

– Офкоз, йес, итыз!

В развитие сюжета:

– А давайте здесь еще 15 баллов добавим за совершенство подхода.

– Да, не вопрос, коллега, только из-за некоторого несовершенства подхода по причине его откровенного заимствования у лидера отрасли, пусть здесь будет не более 5-и баллов, согласны?

– Безусловно Вы, уважаемый, видите проблему внутриотраслевого заимствования подходов намного глубже, чем я, поэтому соглашаюсь на 12 баллов!

И тут вступает ведущий эксперт:

– Договорились, добавляем 10 баллов!

Молоточек судьи, так, стук. Дело закрыто. Комиссия переходит к следующему вопросу…

Плюсы – безусловные, просто картина маслом.

Минусы – отсутствуют. Но есть самая малость: негде взять ученых экспертов. И Ведущих экспертов тоже очень мало (ау-ау, Вы где?!) с подобными знаниями и навыками.

А так – полные «ОКеюшки»…

Консенсус силовой, он же зычный

Консенсус силовой зычный
«Вы меня не убедили, сэр! – И Вы меня тоже!»

Процесс такого консенсуса прост до невообразимости: пусть кто-то кого-то в чем-то переубеждает, ссылаясь на что угодно, кроме Модели. О Модели нужно забыть, как нет ее, иначе успех не гарантируется. Вместо Модели нужно применять:

а) Собственную внутреннюю модель:

  • уверенность в себе,
  • безусловную веру в свою исключительность,
  • безграничное озарение, при всех условиях обеспечивающее абсолютную точность выставления оценок,
  • и прочее;

б) Какую-либо бенчмарку, например:

  • предприятие, где работает эксперт вне настоящего времени участия в консенсусе,
  • любимое чужое предприятие, лучше которого нет ничего на свете,
  • некую, только одному эксперту известную, образцово-показательную организацию,
  • и тому подобное;

в) Внутреннее экспертное ощущение от прочтения отчета конкурсанта:

  • нравится vs не нравится,
  • классно vs просто ужас,
  • бесподобно vs и чо тут такого?,
  • вау! vs уав!
  • и многое другое.

Приемлемые фразы при «силовой» консесусной встрече

Фразы могут быть следующие:

– А у нас на предприятии все совсем не так!

Или:

– Нас так не учили, нужно ставить как можно больше (как можно меньше), как можно ближе к 999 баллов!

Также, например:

– А я считаю, что за то-то и то-то нужно поставить столько-то!

– А у меня оценка больше (меньше), значит и итог должен быть больше (меньше)!

– Я лучше знаю, сколько тут нужно ставить!

– На «заочке» нужно завышать, чтобы потом не мучиться на обследовании с ростом оценок!

– (тут каждый может дописать сам иные подобные аргументы).

Наконец:

– Слышать Вас не желаю, будет такая-то оценка. Спорить дальше не о чем!

В ход могут идти разные подручные аргументы: «…дальше снял для верности пиджак. И мгновенно в зале стало тихо, он заметил, как я привстаю! И…» (В.С. Высоцкий).

Можно «договариваться» устно при встрече, хоть до хрипоты. Можно общаться по Скайпу, Вотсапу и другим дистанционным способом. Вполне допустимо переписываться – израсходовать весь месячный трафик интернета за пару дней писанины «от души».

Плюсы – все останутся при своем мнении, но итоговая оценка будет выставлена. Подчеркнем: какая-то оценка будет выставлена, но это уже не важно. В конце концов «и волки сыты, и овцы целы».

Минусы – осадочек останется у всех, пичальки, грусть. Опять же возможно применение ненормативной лексики в ходе устного обсуждения, а также могут проскочить «выпады на грани».

Нехорошо, однако…

Консенсус арифметический, он же среднеарифметический

Консенсус арифметический
«Гарри! Какой у меня кредит? –180 долларов! – Доведем до ровного счета!»

Все понятно, объяснять особенно нечего: усреднить все оценки, даже завышенные, и дело с концом. Крайне удобно, просто и понятно. Все сложить, а потом поделить. Заметьте, не «отнять и разделить», а «сложить и разделить» – это важно!

Можно складывать, а потом делить:

  • в уме (кто-нибудь скажет, никуда не глядя, сколько будет 195 разделить на 3?),
  • на счетах (интересно, кто-то сберег навыки деления на счетах?!),
  • в столбик (американцы, например, утратили сей навык навсегда!),
  • на логарифмической линейке (на ней, правда, удобно только делить, ну, там в степень возвести, а вот сложить – это проблема…),
  • на калькуляторе (у кого-то он сохранился?)
  • на телефоне (приложение Калькулятор!),
  • в компьютере (скажем, в Экселе!),
  • с помощью специального программного обеспечения (например, нанять программиста, знающего Ruby on Rails!)…

Инструмент усреднения оценки роли не играет. Главное – результат!

Плюсы – удобство, легкость, простота.

Минусы – «усложнять просто, упрощать сложно» (В.А. Лапидус). На самом деле предложенный вариант есть усложнение, а не упрощение. Оценка организации на конкурсе получится неадекватная, хотя далеко не сразу это будет понятно.

Завышенная оценка может вызвать сложности в дальнейшем. Хотя, конечно, может и не вызвать, тут как повезет с привнесенными обстоятельствами.

Консенсус выборочный, он же чёксельный

Консенсус выборочный чёксельный
Пример установленного ограничения максимального разброса итоговых оценок экспертов – не более 95 баллов от индивидуальной оценки Ведущего эксперта. Указанные цифры обведены на рисунке.

Тут немного не так, как в арифметическом консенсусе. Отсекаются все эксперты Комиссии, у кого итоговая оценка больше, чем плюс-минус заданный диапазон от итоговой оценки Ведущего эксперта. Далее оставшиеся оценки усредняются по формуле среднего арифметического, ну, там еще немного можно вручную «подшаманить».

Диапазон отсечения итоговых оценок экспертов – примерно за рамками четверти от итоговой оценки Ведущего эксперта в обе стороны в плюс и в минус. Подобное уже реализовано в Чёкселе, которым можно пользоваться в любой момент (бесплатно). С его помощью можно вручную подобрать такую величину допустимого разброса оценок экспертов, чтобы потом не было мучительно больно за итоговую консенсусную оценку Комиссии.

Без Чёкселя, конечно, тоже можно проделать аналогичную работу. Вычисляют разные средние значение: со всеми экспертами Комиссии, а затем без одного или нескольких экспертов Комиссии. Смотрят и сравнивают полученные результаты.

Применение Чёкселя тут уместно тем, что выведенная таким образом консенсусная оценка может быть сразу «разбросана» по всем составляющим критериев – автоматически, без дополнительных ручных действий.

Плюсы – быстро и удобно, особенно, когда нет возможности встретиться и детально обсудить проблемы. Итоговая оценка окажется в районе оценки Ведущего эксперта, что означает довольно высокую объективность комиссии  в условиях большого разброса оценок экспертов.

Минусы – некуда девать «выпавших» в результате «отсечения» экспертов Комиссии. По идее, они не должны подписывать итоговый Оценочный лист и итоговое Экспертное заключение. Но по факту – должны подписать.

Что же делать? Вполне вероятный ответ – применить восточный подход вместо западного: жить с проблемой постоянно, ничего с ней не делая…

Консенсус математический, он же консенсус сходимости рядов

Консенсус математический
Пример математического подведения итоговой консенсусной оценки – «Математику уж затем учить надо, что она ум в порядок приводит» М.В. Ломоносов

Если эксперты предоставляют на консенсус только итоговые оценки без деления на «Совершенство подхода», «Развертывание подхода», «Оценка и улучшение подхода», «Значимость и пригодность», «Качество результатов», то предлагается воспользоваться предлагаемыми ниже файлами для математического расчета и для подведения итоговой консенсусной оценки:

ССЫЛКА НА СКАЧИВАНИЕ ФАЙЛА: https://yadi.sk/d/X6pTutAYN-JuTA

Суть метода: оценки экспертов воспринимают как оценки только за «Совершенство подхода» и «Значимость и пригодность». Считают, что эксперты не владеют логикой РАДАР или не успели эту логику применить – некогда было. Подставляют в файл оценки экспертов, но только в клеточку «Совершенство подхода» или «Значимость и пригодность».

А где взять остальное? Конечно, у «самого умного» Ведущего эксперта, которому не лень РАДАРом заниматься, и есть для этого свободное время.

Затем подставляют (автоматически) к оценкам всех экспертов Комиссии значения «Развертывание подхода» и «Оценка и пересмотр подхода» (а для 6-9 критериев автоматически подставляют значения «Качество результатов»), «позаимствовав» их у Ведущего эксперта.

Следом включается сложнейший (!) математический аппарат по усреднению оценок (алгоритм строго засекречен и зашит внутри файла, пригодного к скачиванию!). На выходе получают совсем другие оценочные листы для каждого эксперта. Оценки экспертов Комиссии могут стать заметно меньше, разброс оценок уменьшится.

Если полученные итоговые оценки устраивают Ведущего эксперта, он высылает каждому эксперту его новый Оценочный лист. Поясняет экспертам, что они не учли «Развертывание…», «Улучшение…» и «Качество…». И прочее, и прочее, и прочее (объясняет). Необходимые для такого случая объяснения также приведены в файлах, открытых для скачивания по приведенной выше ссылке.

Затем экспертов Комиссии просят подписать новые варианты оценки или даже оставляют прежние оценки экспертов, но при условии достижения консенсуса по итоговой оценке.

Достоинства и недостатки математического консенсуса

Плюсы – снижаются ошибочно завышенные оценки, причем делается это логически обоснованно. Одновременно экспертам напоминают про существование логики РАДАР.

Минусы – требуется специальная программа и сложнейший алгоритм усреднения, который увы, не под силу любому первому попавшемуся под руку компьютеру. Ну, а если серьезно, то проблема в том, что оценки теперь будут не совсем индивидуальными оценками экспертов. Придется привыкать к математическим оценкам, выставленным с применением (можно даже так замахнуться!) искусственного интеллекта.

Да, уж, только искусственного интеллекта нам не хватает для полного счастья…

И что делать дальше?

Что делать дальше? – Договариваться!

В заголовке статьи были обещаны только 5 методов проведения консенсуса. Но последний 5-й вариант выглядит не оконченным. Оценки экспертов исправлены, и что дальше?

Что делать потом, после подписания экспертами новых оценочных листов в результате математического консенсуса?

Ответ довольно тривиальный. Следом можем начинать все сначала, уже с новыми оценками экспертной группы.

Например, приступаем к классическому консенсусу. Ну, или запускаем выборочный консенсус с применением Чёкселя. А то и вспоминаем про силовой вариант консенсуса, разумеется, если помидоры уже запасены.

В общем, кому как нравится и кому как удобно…

А если более серьезно, то последний 5-й метод все-таки позволяет вывести итоговую консенсусную оценку. Более того, если полученная таким методом оценка не устраивает, и ее величина остается сильно завышенной, то в расчетной таблице есть поле для корректировки. В этом поле таблицы можно поставить цифры 0, 1, 2 или 3 (см. рисунок ниже).

итоговая консенсусная оценка
Поле для настройки сходимости оценок обведено на рисунке – Чем большее число стоит в поле (в диапазоне между 0 и 3), тем лучше результат, тем ближе итоговая консенсусная оценка к оценке Ведущего эксперта

По умолчанию в указанном поле стоит «ноль».  С каждой новой цифрой 1, 2 или 3 итоговая оценка будет постепенно приближаться к оценке ведущего эксперта. Работает алгоритм «сходимости рядов», кто еще помнит математику. Чем больше цифра, тем лучше будет сходимость оценок экспертов.

Значит, чем больше разброс оценок экспертов, тем большую величину нужно записать в этом регулировочном поле. Вот такой тут, можно сказать, «искусственный интеллект» для вывода консенсусных оценок при сильном завышении оценок экспертами.

Хотя, не будем отрицать, классический консенсус, первый в списке консенсусов, остается все же наилучшим среди любых других видов совместной работы экспертов Комиссии.

Понравилась статья? Поделиться с друзьями:
Об управлении офлайн бизнесом
Добавить комментарий

:) :D :( :o 8O :? 8) :lol: :x :P :oops: :cry: :evil: :twisted: :roll: :wink: :!: :?: :idea: :arrow: :| :mrgreen: