Сравнителен анализ на приложимостта на две психометрични теории на тестовете (върху данни от Теста за общообразователна подготовка)

Abstract

Практическият опит в областта на психологическите измервания намира отражение в изграждането на психометрични теории и модели с различна степен на обобщеност. Психометричните модели следва да бъдат класифицирани като модели на данни, отличаващи се с това, че включват определен набор от допускания, които представляват базисни описания на данните, за които е предназначен съответният модел. Поради това един от фундаменталните въпроси при моделите на данни е за връзката между съответния модел и емпиричните данни, който може да бъде формулиран като въпрос за адекватността, за приложимостта на психометричните модели.
Представената докторска теза е фокусирана върху анализа на приложимостта на два модела в рамките на Класическата тестова теория (CTT) и на Теорията за отговор на тестов въпрос (IRT), разглеждани като функционално еквивалентни, но алтернативни системи за измерване, върху реални данни от Теста по общообразователна подготовка (ТОП), който стои в основата на приемните процедури в Нов български университет. В светлината на предимствата и недостатъците на двете теории, разгледани в дисертацията, в нея са потърсени отговорите на следните два основни изследователски въпроса: (1) Съответства ли CTT, в рамките на която функционира ТОП, в достатъчно висока степен на тестовите данни? (2) Би ли довела замяната на стария психометричен модел с новата IRT, поради нейните безспорни теоретични предимства, до подобряване на измерителните качества на теста?
Концепцията за приложимостта е третирана в два нейни аспекта: (а) степента на съответствие между допусканията на съответния теоретичен модел и характеристиките на емпиричните тестови данни, и (б) степента, в която очакваните свойства на теоретичния модел се проявяват в емпиричните тестови данни. Съобразно тази концепция е проведена серия от 5 относително самостоятелни емпирични изследвания, обособени в две групи: (1) верифициране на допусканията за формата на разпределенията на латентните променливи и за размерността на латентните пространства и (2) анализ на инвариантността на статистиките на тестовите въпроси; на взаимовръзките между разноименните индекси/ параметри в рамките на един и същи теоретичен модел; на съгласуваността между статистиките на въпросите, определени в рамките на CTT, и кореспондиращите им статистики в рамките на IRT.
Резултатите от направените анализи на формата на разпределенията свидетелстват, противоположно на допускането, за системни отклонения на разпределенията на латентните променливи от нормалното разпределение, с ясна тенденция за доминиране на разпределенията с положителна асиметрия и отрицателен ексцес. На субтестово равнище преобладават латентните структури с един доминиращ фактор, но като цяло факторните решения се характеризират с чувствителност към промени в състава на субтеста, с ниска смислова “плътност”, със структурната слабост, неяснота и нестабилност. На тестово равнище се очертават многомерни структури, съдържащи три фактора от втори ред. Това води до заключението, че латентните структури на ТОП не са организирани на тематичен (субтестов) принцип. Анализът на „поведението”на статистиките на тестовите въпроси показа, че техните индекси в рамките на CTT са по-малко вариативни от съответните им параметри в рамките на IRT. Наблюдават се статистически значими, силни взаимовръзки между различните индекси, от една страна, и параметрите на въпросите – от друга. Наблюдава се и висока степен на съгласуваност между индексите на въпросите и кореспондиращите им параметри.
Съпоставянето на резултатите от направените анализи дава основание да се заключи, че между „поведението” на двата теоретични модела, приложени върху една и съща съвкупност от тестови данни, има редица очевидни сходства. Това е свидетелство, че приеманото за даденост теоретично превъзходство на IRT не се е осъществило. Реалните данни от ТОП са среда, към която „меката” и по-„непретенциозна” Класическата теория се оказва по-добре приспособена, отколкото новата психометрична теория. Следователно преминаването от Класическия модел към новата психометрична теория като рамка за разработване на ТОП в сегашния му вид, не би довело да съществено подобряване на неговите измерителни качества.