Чтение онлайн

Третья группа угроз внутренней валидности эксперимента охватывает вопросы статистической обработки данных. Так, например, расчет статистических критериев, позволяющих делать достоверные выводы о различиях средних оценок или оценок дисперсий, представляет собой элемент обеспечения внутренней валидности. Необходимо также аккуратно строить интерпретации и других статистических показателей, в особенности коэффициентов корреляции.

Перейдем теперь к описанию статических экспериментальных планов, позволяющих контролировать те или иные угрозы внутренней валидности. При этом первые три приводимых плана следует рассматривать как планы, пригодные для проведения пилотажных исследований, четвертый и пятый – как планы основного эксперимента.

Для схематического изображения экспериментальных планов мы будем использовать следующие обозначения. Буквой Т мы будем обозначать измерительную процедуру, которой подвергаются испытуемые. Буквой Г будем обозначать группу испытуемых, привлеченных к эксперименту, при этом верхний индекс будет указывать, является ли данная группа экспериментальной или контрольной – Гэ и Гк. Под экспериментальной группой понимается множество испытуемых, являющееся подмножеством исследуемого отношения. Контрольная группа подбирается таким образом, что все ее члены не находятся в данном отношении. Так, например, если исследуется новый метод интенсивного обучения, то этот метод применяется в экспериментальной группе и не применяется в контрольной. Далее группы могут подвергаться тестированию в разные моменты времени. Момент времени, в который группа была подвергнута тестированию, будет фиксироваться нижним индексом: Гэ – означает, что данная экспериментальная группа была тестирована в 1 момент времени. Нижние индексы, таким образом, указывают порядок тестирования групп. Буквой D мы будем обозначать множество результатов измерения, т. е. зависимую переменную. В схемах будет использована такая стрелка ->, которая будет выступать в двух значениях. В паре Т -> Г стрелка будет обозначать, что тестовые задания предъявляются группе испытуемых; в паре Г -> D стрелка будет обозначать, что экспериментатор свел результаты тестирования в специальную таблицу, называемую матрицей первичных данных, которая фактически и обозначается буквой D. В этой таблице каждому испытуемому ставится в соответствие единственная оценка по каждому тестовому заданию.

Первый наипростейший экспериментальный план модно, вслед за Кэмбэллом, называть «исследованием единичных случаев». Его схема такова: Т – Г – D. Это исследование заключается в том, что проводится единичное тестовое обследование некоторой группы испытуемых. В таком описании исследование, построенное по данному плану, практически не имеет научной ценности. Однако если исследователь уже сформулировал проблему и определил объект и предмет исследования, то научная ценность единичного обследования может быть существенно увеличена с точки зрения его использования для пилотажного исследования.

Следующий экспериментальный план строится на двукратном тестировании, проводимом до некоторого экспериментального воздействия на группу и после него. Схема такого исследования выглядит так:

Этот план также годен только для пилотажного исследования. Действительно, при таком плане у исследователя не может быть уверенности в том, что между моментами времени 1 и 2 не произошло каких-то существенных изменений в группе, не учтенных при формулировании гипотезы о различии D1 и D2. Кроме того, ничего неизвестно о том, какие отношения, существующие в группе, определили результаты в целом и связаны ли эти отношения с теми, которые интересуют исследователя. Еще раз подчеркнем, однако, что точное определение проблемы, объекта и предмета исследования ослабляет действие угроз валидности и позволяет исследователю формулировать правдоподобные гипотезы, предполагая их проверку в основном эксперименте. Такое ослабление обусловлено подробным теоретическим исследованием всей системы, определяющей область исследования, что позволяет заранее уяснить существующие ограничения степеней свободы побочных переменных.

Следующий экспериментальный план предполагает сравнение двух групп на основе их однократного тестирования. Схема плана выглядит следующим образом:

Этот план позволяет уже контролировать влияние побочных условий на проведение эксперимента, так как обе группы должны находиться в одинаковых условиях. Однако в этой случае исследователям ничего неизвестно о том, каковы были эти группы до осуществления экспериментального воздействия, а следовательно, различия между Dэ и Dк могут быть результатом изначальных различий групп по тем или иным свойствам. Легко видеть, что объединение второго и третьего экспериментальных планов позволяет контролировать (в смысле уравнивания для контрольной и экспериментальной групп) все угрозы внутренней валидности. В результате такого объединения мы получим четвертый экспериментальный план, который иногда называют собственно экспериментальный в отличие от предыдущих – доэкспериментальных. Схема этого плана такова:

Этот план может быть использован при проведении основного эксперимента. В этом случае на выходе исследователь имеет четыре матрицы первичных данных, которые характеризуют начальные и конечные состояния обеих групп. Следует, однако, помнить, что данный план позволяет лишь уравнять все побочные влияния для обеих групп, т. е. обеспечивает одинаковое смещение всех экспериментальных оценок, но не позволяет узнать, каково это смещение. Такой план, следовательно, представляется удовлетворительным всегда, когда измерения производятся в интервальных шкалах. В этом случае мы можем увеличить или уменьшить все оценки на постоянную величину, не потеряв при этом никакой информации. Если же измерение каких-то показателей производилось в шкале отношений, и это важно для исследователя, то для уверенности в том, что результаты измерения не искажены побочными влияниями, следует использовать более сложный план. Таким планом может служить план Соломона, названный по имени исследователя, предложившего его. Схема этого плана такова:

Верхние индексы Э1 и К1 означают, что речь идет уже о других экспериментальной и контрольной группах, не пересекающихся с первыми. Таким образом, для реализации плана Соломона необходимо наличие четырех различных групп испытуемых. При этом в группе Гэ1 определено исследуемое отношение, а в Гк1 – нет. Пусть теперь некоторый результат измерения d из D является показателем измерения исследуемого свойства в шкале отношений. Тогда должны быть выполнены следующие условия:

Если выполнены оба условия, то можно утверждать, что экспериментальный план согласован с измерением в шкале отношений и все побочные влияния на исследуемую переменную устранены.

Если второе условие не выполнено (но выполнено первое), т. е. d2 /= d3, то говорят, что измеряемая переменная взаимодействует с измерительным методом. При этом предполагается, что обе экспериментальные группы уравнены по измеряемым характеристикам.

Если не выполнено и первое условие, то пропорциональность шкалы нарушается, если, однако, d во всех трех указанию: в первом условии множествах данных остается постоянным, то можно говорить, что исследуемое свойство измерено в шкале интервалов и все побочные влияния манкированы. Необходимо добиться выполнения этого последнего условия при проведении основного эксперимента. Это может быть сделано посредством аккуратной проверки всех условий эксперимента и устранения всех «подозрительных» факторов, т. е. тех, которые могут оказывать влияние на исследуемую переменную.

Подготовка данных для обработки на ЭВМ.

В начале параграфа несколько слов о том, зачем нужна обработка данных на ЭВМ. Необходимость такой обработки обусловлена сложностью предмета современного психолого-педагогического исследования. Множественность составляющих его отношений делает невозможным их количественное сравнение без ЭВМ, в силу естественных временных ограничений человеческой деятельности. Но дело не только в этом. Сложность предмета исследования стимулировала разработку адекватных этой сложности методов количественного представления данных, которые в силу исторических причин оказались неразрывно связанными с электронно-вычислительной техникой. В настоящее время не представляется возможным проведение того или иного вида статистического анализа даже для небольшого числа измерений без использования ЭВМ.

Задачей статистического анализа является представление исследуемого сложного отношения как некоторого фактор-множества, т. е. как множества непересекающихся классов. Что позволяет исследователю сделать важный шаг на пути к искомому обобщению. Действительно, исследование начинается с того, что исследователь определяет множество интересующих его отношений, пересечение которых представляет собой сложное и неизвестное еще новое отношение. В процессе пилотажного исследования выясняется, что некоторые составляющие свойства связаны между собой, однако в силу их множественности восстановить всю структуру связей и перейти к обобщению не представляется возможным. С помощью специальных методов существует возможность отобразить все множество исследуемых свойств в небольшое число классов. Далее либо посредством обобщения всего класса свойств, либо посредством выбора некоторого (центрального) представителя класса он может быть отождествлен с некоторым более сложным свойством, множество же классов определяет структуру всего исследуемого отношения.