Методологія когнітивного тестування Стандартизована процедура для конкурсного відбору та атестації

Ми не вигадуємо формати з нуля. Вербальні завдання побудовані за моделлю Watson-Glaser, абстрактні — за Raven's Progressive Matrices, аналітичні — на стандартних числових батареях. Запозичуємо підхід, а питання пишемо свої, українською, під наш контекст.

Кожне питання проходить рецензію: методист пише, психолог перевіряє — чи дійсно воно вимірює те, що заявлено, і чи немає двозначності. Окремо дивимось, як питання виглядає очима кандидата (face validity).

Складність калібруємо на пілотних проходженнях: легкі (70–90% правильних), середні (40–70%), складні (15–40%). Якщо питання занадто просте (>90%) або занадто складне (<15%) — прибираємо, бо воно не розрізняє кандидатів. Додатково рахуємо point-biserial correlation: нижче 0.20 — питання йде на перегляд.

Зараз у банку 150 завдань у 6 пулах (логіка, аналітика, абстрактне, вербальне + два пули у форматі ВККС). Кожне питання має теги домену, підтеми і складності. Пул зростає після кожної реальної сесії.

Простіше кажучи: чи справді наші питання покривають те, що ми заявляємо? Якщо в батареї на логіку половина питань — насправді про уважність, результат не можна читати як «рівень логічного мислення».

Рецензент-психолог перевіряє кожне питання на три речі: чи воно реально активує потрібну когнітивну функцію, чи виглядає адекватно з точки зору кандидата, і чи немає культурних упереджень у формулюванні.

Банк збалансований по підтемах — щоб, скажімо, у логічному блоці не було 80% силогізмів і 20% всього іншого:

Після кожної сесії з 30+ кандидатами робимо post-hoc аналіз: дивимось на розподіл відповідей, час, дискримінативність. Якщо питання всі вгадують або ніхто не встигає — воно йде на перегляд.

Cronbach's α — наскільки питання в одному домені узгоджені між собою. Якщо α низька, значить деякі питання вимірюють щось інше, і загальний бал ненадійний.

Публікуємо α по кожному домену після 100+ проходжень. На малих вибірках не публікуємо — нестабільна оцінка гірша за відсутню.

SEM (стандартна помилка) = SD × √(1 − α). Показує, в якому діапазоні знаходиться реальний бал кандидата. Якщо два кандидати відрізняються на 1–2 SEM — вони статистично рівні, і ранжувати їх некоректно.

Test-retest поки не проводили — в конкурсній сесії повторне проходження неможливе. Плануємо окреме дослідження з добровольцями (інтервал ~3 місяці, цільовий r > 0.75).

Автоматично стежимо за inter-item correlation: якщо два питання корелюють надто сильно (r > 0.85), одне з них — кандидат на видалення як дублікат.

Повні дані надійності надаємо замовнику після кожної сесії з 30+ кандидатами.

Кандидат отримує відсоток правильних по кожному домену і композитний бал (середнє, у ВККС-батареях — з ваговими коефіцієнтами). Орієнтири:

Перцентиль — порівняння з іншими учасниками тієї ж сесії, а не з популяцією взагалі. 75-й перцентиль = випередив 75% колег. Між сесіями порівнювати некоректно — склад різний.

Що важливо розуміти:

• Когнітивний тест — один з інструментів, не вирок. Schmidt & Hunter (1998): валідність для прогнозу ефективності ≈ 0.51, разом з інтерв'ю ≈ 0.63.
• Тест не вимірює мотивацію, доброчесність, лідерство чи професійні знання. Тільки когнітивні здібності.
• Втома, стрес або тест-тривога можуть дати ±5–10 п.п. Близькі результати (в межах SEM) — статистично рівні.
• Повна культурна нейтральність — мета, не факт. Вербальний блок чутливіший; абстрактний — найменше.

Для чого підходить: скринінг при масовому конкурсі, компонент у multi-method assessment (тест + інтерв'ю + робоча проба), періодична атестація.

Для чого ні: як єдина підстава hire/reject, для клінічної діагностики, для відбору на топ-позиції без assessment-center.