Рейтинги в оценке качества работы психолога.

Интернет рейтинги.
Проблемы метода и пути их  решения.

С момента появления нового информационного пространства и инструментария интерактивного взаимодействия с потребителем прошло не так уж много времени. Информационный прогресс и развитие новых средств массовой информации привели к  реализации старых как мир идей быстрого информирования о качестве услуги или продукта и обмена мнениями об их использовании непосредственно между потребителями.

Интернет рейтинги способны достаточно качественно отражать общественное мнение о товарах, услугах, даже политических решениях, но существуют определённые области, где по объективным причинам сделать это достаточно сложно.

Одной из таких областей является психология в целом. Индивидуальное психологическое консультирование, качество психологических тренингов, личность и популярность тренеров, несомненно могут быть оценены с помощью интернет-рейтингов, но для получения достаточно достоверных оценок необходимо преодолеть ряд существенных проблем.

Проблема 1. Невозможно собрать валидную выборку оценщиков.

В интернет-рейтингах принимает участие узкая часть клиентов, обладающих значимыми признаками:

1. Имеющие доступ к сайтам и интернет ресурсам.
2. Имеющие свободное время для пользования этими ресурсами.
3. Мотивированные к участию в оценках эффективности психолога.
4. Лица, получившие качественную помощь, как правило, перестают пользоваться услугами психологов и тренеров и теряют интерес к соответствующим интернет-ресурсам и участию в рейтингах.

Проблема 2. Отсутствуют общепринятые качественные и измеримые критерии оценки эффективности консультации/тренинга.

1. Сам метод, методология формирования рейтингов, предполагают субъективный подход к оценке эффективности оказанной услуги.
2. В интернет-рейтингах обязательно будут участвовать клиенты, не владеющие представлением о качестве, эффективности работы психолога и/или консультанта/тренера.
3. Высока вероятность смешивания в субъективном восприятии самого тренинга/консультации и сопутствующих организационных моментов (качество помещения, личность других участников, работа организаторов и т.п.).
4. Даже в ситуации, когда критерии оценки эффективности метода разработаны и известны, их использование будет сложным. Профессиональные консультанты, владеющие этими знаниями, немногочисленны, и даже в случае их участия в рейтингах  их влияние на статистику будет минимальным.

Проблема 3. Отсутствует единое мировоззренческое и этическое пространство в профессиональном консультировании и формировании тренингов.

Под маркой психологического консультирования и тренингов проводятся совершенно разные, порой противоположные по смыслу и цели процедуры и обряды.

1. Возможны подмены и генерализация оценок со смещением от недовольства специалистом к недовольству методом.
2. Возможно несоответствие мировоззрения клиента и консультанта, выраженное в стойком протестном мотиве клиента и тяге влиять как  на  специалиста, так и на социум.
3. Разница в этических ограничениях методов может провоцировать на стойкие негативные эффекты, как в оценках, так и в желании влиять на профессионала.

Проблема 4. Отсутствует возможность достоверно контролировать свободу и непредвзятость оценщика.

Оценщик (клиент) находится в сложных отношениях с объектом оценки и может быть подвержен его влиянию.

1. Клиент не знаком с методом (особенно в случае единичной консультации) и не владеет информацией о возможных эффектах его использования (в том числе и неприятных).
2. В случае этических нарушений клиент может быть особенно мотивирован на оценивание деятельности специалиста.
3. Возможны эффекты групповых индукций,  как осознанные, так и бессознательные, к оценкам определённого рода, выражающиеся как в желании прославлять метод/специалиста/тренинг, так и в желании преследовать и опорочить его.

Проблема 5. Возможное использование интернет рейтинга в целях недобросовестной конкуренции.

Сложно предотвратить попытки использования рейтингов как для дискредитации, так и для недобросовестной рекламы в связи со сложностью контроля добросовестности оценщика и возможностью интернет-клонирования мнения одного лица или группы лиц, как прямой, так и косвенной.

1. В последнее время имеет место всё больше случаев использования термина «тренинг»  для обозначения услуг, отличных о целей и задач собственно тренинговой (формирующей полезный навык) работы. Например, «тренинги» зачастую проводятся с целями развлечения группы лиц или отбора в определённые целевые программы. Мнение участников таких процессов не будет отражать реальное качество тренинговой работы тренера. Мотив на оценивание может быть очень высоким.
2. Существует возможности хакерского, спамерского и иного воздействия как на любой интернет ресурс, так и непосредственно на его пользователя.

Проблема 6. Манипулирование.

1. Общим фактором для участников опроса может служить желание влиять на профессионала/консультанта/тренера и формировать представление о нём в социуме.
2. Этот мотив парадоксальным образом отражает недостаточно качественную работу в случае длительного консультирования или тренингового цикла.

Проблема 7. Рейтинг провоцирует желание оценивать.

1. Сам факт публикации рейтинга становится провокацией для части пользователей интернет-услуг, вызывая у них желание повлиять на кого-то или что-то. Троллинг и простое хулиганство может в значительной степени искажать оценки.
2. Разнообразные слухи и мнения знакомых могут вызывать желание участвовать в рейтинге тех, кто не ходил на консультацию и лично не знаком ни с методом, ни со специалистом.

Проблема 8. Факт обращения и информация о его итогах являются личной тайной клиента и профессиональной тайной специалиста.

1. Клиент может более открыто разглашать информацию о своей консультации и даже искажать её, будучи уверенным, что специалист не будет опровергать детали и вступать в публичные переговоры.

Предложения по решению этих проблем:

1. Тестирование вменяемости/аффективной заряженности оценщика в анкете участника рейтинга.
2. Разработка формы детального опросника/анкеты подразумевающего учёт множества параметров. Среди них: оценка качества работы, тестирование валидности даваемой оценки, наличие контрольных пунктов, обеспечивающих необходимость индивидуального заполнения этих форм (выбор шкалы и критериев оценки оценщиком), и т.д.
3. Увеличение количества обязательных к заполнению полей в опроснике.
4. Ограничение по частотности оценок (например, не более одного консультанта/тренинга в месяц) с одного адреса.
5. Проверка подлинности/добросовестности оценщика в анкете путём скрытого или открытого тестирования.
6. Приём в рейтинг оценок только из определённого региона. Проверка местонахождения оценщика на момент заполнения опросника. Мониторинг IP.
7. Отказ от анонимного участия в опросе.
8. Введение множественных рейтингов (для клиентов, для профессионалов, рейтинг известности, антирейтинг, и т.д.).
9. Совершенствование математического аппарата статистического анализа с учётом добавочных критериев валидности оценки. Игнорирование групп явных крайних значений. Оценка оценщиков. Градация рейтинга на несколько подрейтингов, с отдельным учётом различных оценок, особенно противоположных по значению.

10.  Учёт валидности оценки по времени, прошедшему с момента получения услуги. (например, не учитывать оценки, данные ранее 24 часов после получения услуги).

11.  Введение детализации рейтинга с учётом специализации психолога (по модальности, основным технологиям консультирования), что упрощает унификацию критериев оценки в подгруппе.

12.  Придание рейтингу более серьёзного и ответственного статуса.

13.  Введение сложных критериев в опросник (к примеру, соотношение цена/качество услуги) с целью отсечения аффективных оценок.

14.  Прояснение мотива оценщика в опроснике.

15.  Придание оценщику специфического статуса с отражением его мнения в соответствии с этим статусом. Например, «рейтинг среди возмущённых клиентов».

16.  Получение согласия профессионала, по каким критериям будет оцениваться его работа. Информирование специалистов с целью получения от них разрешения на участие в рейтинге и коррекции личных данных для профессиональных рейтингов.

17.  Создание опросников для клиентов и профессионалов с самостоятельным выделением ими значимых критериев оценки эффективности тренинга/консультации.

18.  Учёт добавочных критериев, полученных иными путями (вне опросника) Например учёт в рейтинге количества интернет публикаций, числа упоминаний в СМИ и т.п..

19.  Наиболее ценными становятся сложные вторичные эффекты консультирования/тренинга, такие как желание обратиться повторно или рекомендации этого специалиста своим близким. Но, к сожалению,  именно этот параметр будет задействован в случае недобросовестной конкуренции.

20.  Необходимо задействовать модераторов и авторитетных пользователей сайта в привлечении добросовестных оценщиков к формированию рейтинга.

21.  Тест на прояснение психического статуса оценщика до получения  анкеты оценки.

22.  Ведение символической оплаты с незарегистрированных пользователей за участие в рейтинге.

Психологическая основа для оценки качества работы специалиста (мотив оценки) представляется весьма сложной и индивидуальной. Следовательно, существует возможность формирования парадоксальных рейтингов, отталкивающихся от стоимости приёма и загруженности специалиста и учитывающих отказ или отсутствие активности клиентов по участию в оценке качества его работы. Кроме того, сам мотив оценить качество работы специалиста может быть учтён в качестве коэффициента при обработке данных.

В случае единичных и краткосрочных форм работы участие в рейтингах оценки качества работы вполне вероятно и для клиентов, получивших эффект. Их мнение может быть учтено в специальном рейтинге одноразовых консультаций, тоже для тренингов выходного дня и разовых тренингов. Завершённость/незавершённость работы с психологом/тренером может быть учтена отдельно.

 Особенность учёта эффективности тренинга сталкивается со сложностью групповых психологических эффектов. Так, фасилитация способна создавать краткосрочные, но достаточные для участия в оценке позитивные мнения об эффекте тренинга, оборачивающиеся жестоким разочарованием в долгосрочной перспективе. И, напротив, тренинг, изначально воспринимавшийся как недостаточно эффективный из-за разницы уровня предварительной подготовки участников, может иметь важные, стойкие  и полезные эффекты в ходе дальнейшей жизни участника.

Пути решения. Стратегия и тактика.

Можно выделить основные направления в достижении цели повышения качества и информативной ценности рейтинга.

Создание рейтингов по специальности. Выделение профессиональных критериев в рамках этой специальности. Детализация оценки по разным критериям. Закрытость психоаналитика и открытость гештальт-терапевта их профессиональные инструменты.

Дифференциальная оценка ценности мнения оценивающего с предварительным тестированием. Допуск к формированию рейтинга только после процедуры тестирования.

Множественные рейтинги с выборочным и добровольным участием в них оценщиков. «Рейтинг популярности» «Антирейтинг» «Нравится не нравится» «Слышал / знаю» и т.п. Суммарный рейтинг как производная данных этих рейтингов.

Привлечение профессионалов для формирования  рейтингов и участие в них как оценщиков. Полный отказ от анонимности в формировании рейтинга.

Создание вариативного интерактивного опросника, включающего в себя разные критерии оценки качества и ценности мнения оценивающего и объекта оценки.

Создание опросника с целью учёта непрямых оценок качества работы специалиста и выделением прямых оценок в отдельный блок.

Вывод.

Для разработки качественного и близкого к достоверности рейтинга профессионалов в таких областях, как психологическое консультирование и тренинговые услуги, необходимо сотрудничество специалистов.

Рейтинг может отражать реальность только в ситуации чёткого формулирования его цели и подбора соответствующей методики обработки данных.

На существующем этапе развития средств интерактивной коммуникации возможно создание рейтинга с учётом целей его публикации и качеств оценщиков. Качественный подбор критериев оценки, методов оценивания, проверки валидности и внерейтинговая верификация данных позволяют создать действительно ценный и общественно-полезный информационный продукт.