4. Потеря индивидуального подхода, «репродуктивность». Тесты знаний апеллируют прежде всего к стандартному применению готовых знаний.
5. Отсутствие возможности раскрыть индивидуальность при наличии стандартных, заданных ответов – ничем не восполнимый недостаток метода тестов. С точки зрения выявления творческого потенциала большинство тестов ограничены именно тем, что они не апеллируют к творческой, конструктивной деятельности.
6. Отсутствие доверительной обстановки. Бездушный и формализованный характер самой процедуры тестирования оборачивается тем, что испытуемый лишается ощущения того, что психолог заинтересован в нем лично, в том, чтобы помочь в его проблемах и трудностях.
7. Потеря индивидуального подхода, неадекватная сложность. Иногда неквалифицированные тестологи обрушивают на ребенка тесты, слишком сложные для него по возрасту. У него еще не сложились необходимые понятия и понятийные навыки, чтобы адекватно осмыслить как общую инструкцию к тесту, так и смысл отдельных вопросов.
Тесты нельзя делать единственным методом диагностики (и образовательно-профессиональной, и личностной) – они требуют параллельного использования свободных письменных работ (в личностной диагностике место сочинений занимают проективные тесты со свободным ответом), а также устного собеседования (интервью). Задача тестов – дополнять указанные выше традиционные методы. В этом качестве тесты незаменимы, так как не имеют многих недостатков, свойственных традиционным методам.
Спокойное осознание достоинств и недостатков метода тестирования освобождает всех как от чрезмерных упований на метод тестов, так и от пренебрежения к ним.
18. Надежность психодиагностических методик. Стандартная ошибка измерения. Понятие о методе измерения ретестовой надежности
Надежность – одно из трех главных психометрических свойств любой измерительной психодиагностической методики (теста).
Надежность – это помехоустойчивость теста, независимость его результата от действия всевозможных случайных факторов:
а) разнообразие внешних материальных условий тестирования, меняющихся от одного испытуемого к другому;
б) динамичные внутренние факторы, по-разному действующие на разных испытуемых в ходе тестирования;
в) информационно-социальные обстоятельства. Разнообразие и изменчивость этих факторов так велики, что они обусловливают появление у каждого испытуемого непрогнозируемого по размерам и направлению отклонения измеренного тестового балла от истинного тестового балла (который можно было бы, в принципе, получать в идеальных условиях). Величина этого отклонения определяется как «стандартная ошибка измерения» (Se).
Ошибка измерения (Se) и надежность измерения (R), согласно общепринятой психометрической теории, связаны следующей формулой:
R = 1 – Se2 / Sx2, (1)
где Sx – дисперсия тестовых показателей Х.
Метод измерения «ретестовой надежности».
На одной и той же выборке испытуемых проводят пер1вое тестирование Х, а затем повторное тестирование Y. Интервал – две недели. Затем для двух рядов значений Х и Y подсчитывает-ся линейный коэффициент корреляции, или ранговый коэффициент корреляции:
где Sx, Sy – стандартные отклонения X и Y;
Cov (X, Y) – ковариация двух переменных X и Y Для сути теории надежности методов важна возможность определить ошибку измерения, после того как подсчитана корреляция «тест-ретест» по формуле (3), полученной путем простого преобразования формулы (1):
Se = Sx x V1 – R. (3)
Таким образом, если стандартное отклонение в тесте составило 10 очков, а корреляция «тест-ретест» оказалась равной лишь 0,5, то ошибка измерения оказывается очень большой:
Se = 10 x V1 – 0,5 ~ 7,1.
Надежность – характеристика методики, отражающая точность психодиагностических измерений, а также устойчивость результатов теста к действию посторонних случайных факторов. Надежность и валидность являются важнейшими характеристиками методики как инструмента исследования. Общий разброс (дисперсию) результатов тестового обследования можно представить как результат влияния двух групп причин: изменчивости, присущей самому измеряемому свойству, и факторов нестабильности измерительной процедуры.
19. Стандартизация процедуры обследования. Взаимосвязь надежности и валидности. Надежность параллельных форм
Важнейшим средством повышения надежности психодиагностических методик является стандартизация процедуры обследования. При строгой регламентации процедуры обследования существенно уменьшается дисперсия ошибки и повышается надежность теста.
Надежность – устойчивость процедуры относительно объектов исследования.
Валидность – однозначность, устойчивость относительно измеряемых свойств объекта. Устойчивость теста относительно объектов является необходимым, но недостаточным условием его устойчивости относительно измеряемых свойств объектов. Следовательно, надежность является необходимым, но недостаточным условием валидности. Это означает, что валидность теста не может качественно и количественно превышать надежность.
Надежность параллельных форм – характеристика надежности психодиагностической методики с помощью взаимозаменяемых форм теста. При этом одни и те же испытуемые в выборке определения надежности обследуются вначале с использованием основного набора заданий, а затем – с применением аналогичных дополнительных наборов. Коэффициент надежности по типу надежности параллельных форм может быть определен так: испытуемые делятся примерно на равные группы, затем одной из них предлагается форма А теста, а другой – форма Б. Через определенное время проводится повторное тестирование, но в обратном порядке.
Такая процедура обследования лишена значительной части недостатков способа определения надежности ретестовой. Основным показателем надежности параллельных форм является коэффициент корреляции между результатами первичного и повторного обследований, который позволяет оценить как временную стабильность теста, так и степень соответствия результатов обеих форм теста.
Отношения между параллельными формами теста имеет сложный характер. Оба набора заданий должны не только отвечать одним и тем же требованиям, измеряя идентичные показатели и давая сходные результаты, но вместе с тем быть относительно независимыми друг от друга. На практике эта задача осуществима далеко не для всех тестовых заданий (в особенности это касается личностных методик, опросников), что существенно ограничивает сферу применения надежности параллельных форм. Другим недостатком характеристики надежности по типу надежности параллельных форм является возможность усвоения испытуемым принципа решения, общего для основной и параллельной форм.
20. Надежность частей теста. Уравнение Спирмена-Брауна. Определение коэффициента надежности с помощью формул Фланагана и Рюлона
Надежность частей теста – характеристика надежности психодиагностической методики, получаемая путем анализа устойчивости результатов отдельных совокупностей тестовых задач или единичных пунктов (заданий) теста. Наиболее простым и распространенным способом определения надежности частей теста является метод расщепления, суть которого заключается в выполнении испытуемым заданий двух равноценных частей теста.
Разделение объема заданий теста на сопоставимые части достигается:
а) распределением заданий на четные и нечетные (в том случае, если задания в тесте строго ранжированы по степени субъективной трудности);
б) распределением пунктов по принципу близости или равенства значений индексов трудности. Такой принцип разделения пригоден для тестов достижений, в которых обязателен ответ испытуемых на все пункты;
в) распределением задач по времени решения каждой из частей (для тестов скорости).
Для испытуемых в выборке определения надежности вычисляются оценки успешности решений, среднеквад-ратические отклонения первого и второго рядов оценок и коэффициенты корреляции сравниваемых рядов.
Уравнение Спирмена-Брауна отражает влияние изменения количества заданий на коэффициент надежности теста:
rt = nr't / 1 + (n – 1) r't,
где rt – коэффициент надежности для полного объема заданий;
r't – его значение после изменения числа заданий;
n – отношение нового числа заданий к первоначальному (если число заданий полного теста – 100, а его части, полученной методом расщепления на половины, – 50, то n = 0,5). Отсюда для полного теста:
rt = 2r't / 1 + r't.
Приведенные формулы справедливы для случаев равных стандартных отклонений обеих половин теста (σxl = σх2). Если (σxl отличается от (σх2, для определения коэффициента надежности применяется формула Фланагана:
rt = 4σxlσх2r't / σxl+ σх2+ 2σxlσх2r't.
При определении rt целого теста можно воспользоваться формулой Рюлона:
rt = 1 −σ2Δ/ σ2x,
где σ2Δ – дисперсия разностей между результатами каждого испытуемого по двум половинам теста;
σ2x – дисперсия суммарных результатов. В данном случае коэффициент надежности рассчитывается как доля «истинной» дисперсии результатов теста.
Характеристика надежности по типу надежности частей теста имеет серьезные преимущества по сравнению с надежностью ретестовой и надежностью параллельных форм главным образом благодаря отсутствию необходимости в повторном обследовании.
21. Определения валидности. Важнейшие составляющие валидности
Валидность (англ. valid – «действительный, пригодный, имеющий силу») – комплексная характеристика методики (теста), включающая сведения об области исследуемых явлений и репрезентативности диагностической процедуры по отношению к ним.