internal validity) В. в. относится к степени уверенности, с к-рой можно судить о предполагаемой каузальной связи между переменными. Эксперимент обладает В. в. в той мере, в какой наблюдаемые эффекты можно отнести к влиянию независимых переменных, а не к.-л. др. посторонних факторов. Приписывание причинной обусловленности обычно предполагает, что две переменные - причина и следствие - будут сопряженно изменяться, однако прежде чем делать вывод о В. в., необходимо продемонстрировать, что А действительно вызывает Б (т. е. что возникновение одного лишь А приводит к Б). Можно, напр., ошибочно посчитать, что обучение решению перцептивно-моторных задач в домашних условиях а) приводит к повышению успеваемости детей в школе, б) тогда как в действительности такой желаемый рез-тат обусловлен не столько самим перцептивно-моторным обучением, в) сколько родительской заботой и вниманием. Психол. эксперименты особенно подвержены вводящим в заблуждение и непредусмотренным эффектам побочных переменных, поскольку эти эксперименты крайне редко можно реализовать в таких идеально чистых условиях, какие создаются в физ. лабораториях. Поэтому преимущественной заботой исследователей в психологии становится планирование экспериментов т. о., чтобы получаемые в них положительные рез-ты позволяли делать выводы о существовании причинно-следственных связей. В. в. отличают от внешней валидности, относящейся к возможности распространения рез-тов за пределы того специфического контекста, в к-ром была установлена В. в. Напр., если бы в тщательно контролируемых условиях удалось доказать, что переполненность клеток, в к-рых содержатся лабораторные животные, приводит к агрессивному поведению у белых крыс (В. в.), были бы у нас основания для распространения этого вывода на людей, проживающих в гетто (внешняя валидность)? В. в. следует отличать от конструктной валидности, к-рая является теорет. объяснением предполагаемой причинно-следственной связи. В большинстве случаев, однако, когда существуют все разумные основания считать В. в. установленной, исследователю хочется сформулировать концептуальную основу или конструкт для объяснения этих связей. Кроме того, В. в. не следует смешивать с внутренней согласованностью - термином из области тестирования, относящимся к интеркорреляциям внутри нек-рого набора заданий. При установлении В. в. необходимо убедиться в существовании определенной последовательности событий. Очевидно, если существует связь между А и Б, и А всегда предшествует Б, логично предположить, что А вызывает Б, а не наоборот. Помимо орг-ции максимально возможного контроля над условиями окружения и эксперим. ситуации проводящие исслед. психологи занимаются отбором испытуемых такими способами, к-рые исключают систематические ошибки при распределении их в эксперим. и контрольные группы. Они тж прибегают к тщательно разраб. эксперим. планам (учитывающим ковариацию и включающим уравновешивание) для осуществления статистических способов контроля над влиянием переменных, с тем чтобы можно было делать обоснованные суждения о причинных связях. Далее в сокращенной форме приводится проведенный Куком и Кэмпбеллом анализ проблем, возникающих при проведении квазиэксперим. или полевых исслед. в психологии, каждая из к-рых представляет собой потенциальную угрозу для В. в. Конкретные события, к-рые происходят между первым и вторым измерениями, могут изменять реакции испытуемого. Напр., если в исслед. проверяется влияние нового лекарственного препарата на уменьшение тревоги, а в период между измерениями над данной местностью пронесся торнадо, то на рез-ты измерения уровня тревоги может серьезно повлиять страх, вызванный этой катастрофой. Кроме того, изменения, естественно происходящие с течением времени и связанные с развитием испытуемых, тж могут вызывать последствия, к-рые загрязняют эксперимент (т. е. улучшения в перцептивно-моторных умениях у детей м. б., скорее, следствием простого взросления, нежели обучения). В исслед., предполагающем повторные тестирования, многократное применение того же самого инструмента могут приводить к кумулятивному эффекту, к-рый загрязняет исследуемое воздействие (напр., улучшение в оценках IQ в рез-те "обогащения" среды может стать следствием знакомства с данным интеллектуальным тестом). Механические или сделанные чел. изменения в инструментах, используемых для измерений, могут вызывать иные, нежели исследуемое воздействие, эффекты. Со временем механическая пружина может утратить свою эластичность или исследователь может изменить свою ориентацию. Пренебрежение феноменом статистической регрессии (тенденции высоких и низких оценок при повторном тестировании изменяться в сторону области средних значений) может привести к получению чрезмерно положительной и вводящей в заблуждение оценке взаимосвязи и, как следствие, к ошибочным выводам в отношении причинной обусловленности. Непреднамеренная ошибка в процессе отбора испытуемых для контрольной и/или эксперим. группы может вызывать рез-ты, связанные с этим неучтенным, но неслучайным распределением отдельных испытуемых. В этом случае различия между группами, обусловленные скорее отбором испытуемых, нежели самими исследуемыми воздействиями, могут приводить к ошибочным выводам. Любое выбывание испытуемых в ходе проведения эксперимента (сознательный уход, болезнь или даже смерть) может искажать рез-ты эксперимента, если такая убыль выходит за пределы случайного отсева. Неопределенность в отношении того, является ли А причиной или рез-том Б, неизбежно сказывается на В. в. Играет ли футбольная команда лучше из-за присутствия на трибунах большего числа болельщиков или, наоборот, большее число болельщиков собралось на игру потому, что эта команда стала играть лучше? Случайная и нежелательная коммуникация между группами, принимающими участие в исслед., разрушает эксперим. наивность испытуемых и может формировать установки и ожидания, не связанные с целями данного исслед. В свою очередь, эксперимент сам может вызывать компенсаторное соперничество, чувство обиды, возмущение и деморализацию у отдельных испытуемых и/или их групп - состояния, к-рые не имеют отношения к целям эксперимента и могут искажать его рез-ты. Поскольку экспериментаторы работаю не в вакууме, иногда случается, что по административным или соц. причинам группы получают компенсаторное воздействие, к-рое приводит к уравниванию эффектов и работает против достижения валидных рез-тов. Напр., предоставление хотя бы минимальной терапии контрольной группе пациентов, к-рые вообще не должны были получать никакой терапии, м. б. оправданным с т. зр. гуманности, но, без сомнения, наносит ущерб цели такого эксперимента. Не существует способов проведения совершенного эксперимента (т. е. такого, в к-ром достигается настолько полный контроль, что было бы невозможно отнести полученный рез-т или взаимосвязь к категории артефактов). Кроме того, обычно сам контекст психол. экспериментов делает их чрезвычайно подверженными интерпретационной двусмысленности и получению ошибочных выводов. Однако глубокие познания в этой области и внимание к тем многочисленным ловушкам, к-рые подстерегают психолога при проведении квазиэксперим. исслед., могут ему помочь планировать эксперименты, позволяющие с большей вероятностью получать истинные выводы в отношении В. в. См. также Доверительные границы, Экспериментальные планы, Проверка гипотезы, Каноны Милля, Вероятность, Статистическая значимость Э. Э. Вагнер

Внутренняя и внешняя валидности эксперимента.

Внутренняя валидность связана с вопросом, действительно ли именно это эксперименталь­ное воздействие привело к изменениям в данном эксперименте?

Внутренняя валидность касается отношений между зависимыми переменными и независимыми переменными. Эта валидность связана с особыми процедурами, которые позволяют определить, насколько выводы, сделанные в данном исследовании, достоверны. После того, как установлено существование зависимости между переменной X и переменной Y, необходимо решить, какая из переменных является причиной, а какая следствием, то есть определить направление данной взаимосвязи. Если Y наблюдается после X, то можно сказать, что X является причиной Y.

Однако может оказаться, что отношение зависимости между X и Y вызвано третьей переменной С. Для установления внутренней валидности необходимо рассмотреть все возможности влияния третьей переменной С на переменные X и Y и исключить их. Считается, что исследование обладает внутренней валидностью, если доказано, что существует зависимость причинно-следственного типа между зависимыми переменными и независимыми переменными.

Внешняя валидность относится к возможно­сти обобщения вывода на популяции, ситуации, другие независимые переменные.

Эти два критерия являются важными, хотя часто они на­ходятся в противоречии друг с другом в том смысле, что увеличение валидности одного типа может угрожать валидности другого типа. Идеалом является выбор таких экспериментальных планов, кото­рые обеспечивают оба типа валидности. Это особенно важно для психолого-педагогических исследований, где весьма желательным является распространение данных на практические ситуации, определенного характера.

Есть восемь различных клас­сов внешних переменных, относящихся к внутренней валидности. Если эти переменные не контролируются в экспериментальном плане, то они могут дать эффекты, которые смешиваются с эффектом экспериментального воздействия. Эти переменные представляют влияние:

1) фона - конкретных событий, которые про­исходят между первым и вторым измерением наря­ду с экспериментальным воздействием;

2) естественного развития - изменений испытуемых, являющихся следствием течения вре­мени (не связанных с конкретными событиями), например взросление, усиление голода, усталости и т. п.;

3) эффекта тестирования - влияния выпол­нения заданий, применяемых для измерения, на резуль­таты повторного испытания;

4) инструментальной погрешности , нестабильности измерительного инструмента, при которой изменения в калибровке инструмента или изме­нения, характеризующие наблюдателя или оценочные показатели, могут вызвать изменения в результатах из­мерения;

5) статистической регрессии , имеющей место тогда, когда группы отбираются на основе крайних показателей и оценок;

6) отбора испытуемых - неэквивалент­ности групп по составу, вызывающей появление систе­матической ошибки в результатах;

7) отсева в ходе эксперимента - неравномерности выбывания испытуемых из сравниваемых групп;

8) взаимодействий фактора отбора с естественным развитием и др., которые в ряде квазиэкспериментальныхпланов с несколькими группами ошибочно принимаются за эффект эксперимен­тальной переменной.

К факторам, ставящим под угрозу внешнюю валидность, или репрезентативность эксперимента, относятся:

· реактивный эффект , или эффект взаимодействия тестирования,- возможное уменьшение или увеличе­ние восприимчивости испытуемых к экспериментальному воздействию под влиянием предва­рительного тестирования. Результаты лиц, прошедших предварительное тестирование, будут нерепрезентатив­ны по отношению к тем, кто не подвергался предвари­тельному тестированию, то есть тем, из кого состоит генеральная совокупность, из которых были отобраны испытуемые;

· эффекты взаимодействия фактора отбора и экс­периментального воздействия ;

Одно из наиболее распространенных определений валидности связывает это понятие с ответом на вопрос, насколько хорошо процедура исследования позволяет изучить тот предмет, для изучения которого она применяется, или же насколько хорошо выводы исследования обоснованы процедурами получения и обработки данных.

Валидность высока в том случае, когда независимая и зависимая переменные наилучшим образом операционализированы, точно измерены, никакие побочные переменные не влияют на зависимую переменную, все измерения правильно обработаны статистически, а выводы сделаны с учетом всех дополнительных переменных. Низкая валидность означает, что полученные результаты не содержат никакой информации о том, что хотел изучать исследователь, а если и содержат информацию, то о чем-то другом.

В качестве шуточного примера надежного, но абсолютно инвалидного исследования можно привести анекдот про таракана. Исследователь предполагает, что у таракана уши находятся на ногах. Если посадить таракана на стол и хлопнуть в ладоши, таракан убежит. Если оторвать таракану лапку, посадить на стол и хлопнуть в ладоши, таракан тоже будет убегать, но медленнее. По логике исследователя, это происходит потому, что таракан стал хуже слышать. Если оторвать таракану две лапки, он будет убегать еще медленнее, видимо, потому что еще хуже стал слышать. Если оторвать все лапки, то таракан вообще не убежит, но той же логике - потому что не слышит хлопков. Такой "эксперимент" абсолютно надежен - он будет воспроизводиться в 100% случаев, любыми экспериментаторами на любых членистоногих и не только членистоногих животных. Но он абсолютно не валиден, так как исследователь не имел права делать выводы про слух таракана, в то время как реально воздействовал на его двигательные органы.

Понятие валидности применяется не только к эксперименту, но и к любой исследовательской процедуре. Например, случается так, что, заполнив психологический тест, люди недоумевают: получившийся результат совсем не соответствует их представлениям о себе. Тогда они обращаются к вопросам теста и сами задаются вопросом о том, действительно ли, например, такие действия, как "схожу с ума", "говорю сам с собой", "бегаю или хожу пешком", "дразню кого-нибудь", помогают преодолеть стресс? Действительно ли, если они не делают всего этого, это значит, что они не умеют преодолевать свой стресс и не справляются с ним? Такие вопросы выражают сомнение в валидности теста.

В зависимости от нарушения, допущенного исследователем при получении или оценке данных и, соответственно, при формулировании выводов, выделяются разные виды валидности. Некоторые нарушения приводят к тому, что из данных невозможно сделать никаких выводов про гипотезу - ни подтверждающих, ни опровергающих ее. Другие нарушения лишь накладывают ограничения на эти выводы или области и способы их применения.

Далее мы будем обсуждать четыре вида валидности: внутреннюю, внешнюю, конструктную и статистическую. Мы обсудим также угрозы, связанные с их нарушением, рекомендации по их избеганию и особенности выводов из исследования при угрозе каждому виду валидности.

Внутренняя валидность

Внутренняя валидность отражает то, насколько результаты измерения зависимой переменной обусловлены изменением независимой переменной, а не каким-нибудь другим неконтролируемым фактором. Такой неконтролируемый фактор, как уже отмечалось выше, называется побочной переменной.

Таким образом, чем больше побочных переменных продумал и постарался избежать исследователь, тем выше внутренняя валидность, т.е. тем выше доверие к выводам исследования о причинах изменения зависимой переменной. При неподтверждении гипотезы валидного эксперимента (подтверждении контргипотезы) исследователь может быть вполне уверен,

что проверяемая в его исследовании независимая переменная не влияет на зависимую.

Например, в психологических исследованиях в психиатрической клинике очень часто побочной переменной, угрожающей внутренней валидности, являются лекарства, которые принимают пациенты. Скажем, исследователь хочет выяснить, влияет ли заболевание шизофренией на продуктивность внимания. Для этого он набирает три группы для сравнения: здоровых людей, пациентов с небольшим стажем заболевания и пациентов с многолетним стажем. Таким образом, его независимая переменная - это стаж заболевания шизофренией, имеющая три уровня: нулевой стаж, маленький и многолетний. Зависимая переменная - эго успешность прохождения теста на внимание.

Для того чтобы доказать, что заболевание шизофренией влияет на продуктивность внимания. исследователь должен показать, что три группы сильно отличаются по результатам теста на внимание. Допустим, результаты исследования покажут, что это так: здоровые люди выполняют тест наиболее успешно, пациенты с маленьким стажем - существенно менее успешно, а пациенты с большим стажем заболевания - еще менее успешно. Значит ли это, что заболевание шизофренией сказывается на том, как работает внимание? Не обязательно. Возможно, не заболевание провоцирует ухудшение внимания испытуемых, а лекарства, которые они принимают. Здоровые испытуемые хорошо выполняют тест не потому, что они здоровые, а потому что не принимают психотропные препараты. Пациенты с маленьким стажем заболевания выполняют тест хуже не потому, что больны, а потому что принимают такие препараты, но они выполняют этот тест лучше, чем пациенты с многолетним стажем, потому что принимают более слабые препараты и в меньшей дозировке.

В итоге исследователь не знает точную причину ухудшения внимания испытуемых: заболевание шизофренией или действие лекарств. Оба фактора с равной вероятностью могут быть такой причиной, так как действуют одновременно и одинаково.

В данном примере влияние лекарств является побочной переменной, не проконтролированной исследователем. Исследователь не может сделать никаких выводов о своей гипотезе. Он не может утверждать, что гипотеза о влиянии заболевания шизофренией на продуктивность внимания подтвердилась, так как, возможно, влияет не заболевание шизофренией, а лекарства, принимаемые при этом заболевании. Но он также не может утверждать, что гипотеза не подтвердилась, и заболевание шизофренией никак не сказывается на продуктивности внимания, потому что возможно, что лекарства все-таки не причем, а на продуктивность внимания влияет именно заболевание.

Поскольку выводы о гипотезе в данном исследовании сделать невозможно, ценность полученных в нем результатов стремится к нулю но причине низкой внутренней валидности проведенного эксперимента, которая явилась следствием систематического смешения эффектов переменной, рассматриваемой в качестве независимой (стаж болезни), и побочной переменной (влияния лекарств).

Побочные переменные особенно неприятны тем, что часто заранее невозможно спрогнозировать, какая особенность испытуемых или какое обстоятельство могут повлиять на зависимую переменную вместо независимой или вместе с ней. Исследователь может даже не знать о присутствии такого обстоятельства. Поэтому невозможно разработать систему мер, соблюдение которых гарантировало бы защиту от побочных переменных.

Для повышения внутренней валидности исследования прежде всего можно сделать две вещи. Во-первых, нужно подробно изучить литературу по теме исследования для того, чтобы выявить факторы, которые могут повлиять на зависимую переменную наряду с независимой. Во-вторых, необходимо проконтролировать известные и наиболее часто встречающиеся угрозы внутренней валидности. Вслед за Кэмпбеллом обычно выделяют семь угроз внутренней валидности, которые представляют собой различные источники побочных влияний на зависимую переменную. Рассмотрим их чуть более подробно.

Влияние истории (фона). Напомним, что общая структура эксперимента обязательно включает в себя предварительный замер зависимой переменной, воздействие на замеряемую переменную со стороны независимой переменной и заключительный замер. Большая проблема, которая возникает при этом у исследователя, состоит в том, чтобы устранить любые побочные воздействия на зависимую переменную между двумя замерами, кроме воздействия независимой переменной. Такие воздействия и называются влиянием истории или влиянием фона. Испытуемых нельзя изолировать от окружающего мира на период исследования, они подвергаются множеству воздействий, о значительной части которых исследователь даже не подозревает. И если одно или несколько из этих событий повлияют на состояние зависимой переменной, то внутренняя валидность исследования будет нарушена, поскольку изменение будет вызвано не независимой переменной, а побочной.

Поскольку устранить все воздействия на испытуемых невозможно, для контроля влияния истории исследователи используют контрольную группу испытуемых. Испытуемые контрольной группы подвергаются тем же замерам (предварительному и заключительному), что и испытуемые экспериментальной группы, но не получают воздействия независимой переменной.

Таким образом, исследователь сначала оценивает, возник ли ожидаемый эффект в экспериментальной группе - различаются ли результаты предварительного и заключительного замеров. Если результаты различаются, значит, некоторое событие повлияло на зависимую переменную между этими замерами. После этого исследователь сравнивает результаты экспериментальной и контрольной группы. Если эти результаты различаются, то за это различие ответственна независимая переменная, так как предполагается, что любые другие факторы влияли на обе группы, а независимая переменная - только на испытуемых экспериментальной группы. В том случае, если причиной изменения зависимой переменной стало некое неконтролируемое событие, то изменения между первым и вторым замером в экспериментальной и контрольной группе существенно различаться не будут.

Например, исследователя интересует, влияет ли хорошее настроение на способность решать задачи. Он фиксирует выраженность разных эмоций у испытуемых, например с помощью опросника "Самочувствие. Активность. Настроение", и просит решить несколько задач, потом показывает им смешной видеосюжет про животных, затем снова измеряет эмоции испытуемых и снова просит решить задачи. Результаты показывают, что испытуемые лучше решают задачи после просмотра видео. Но на качество решения задач могло повлиять нс только видео, но и любые другие факторы тренировка, звуки разговоров из коридора, желание показать себя с лучшей стороны. Поэтому исследователю необходимо набрать контрольную группу, которая будет решать те же задачи, слышать тот же шум из коридора, стремиться к положительной оценке и точно так же прервется на некоторое время, соответствующее длительности видеосюжета, но не будет просматривать его. Только если при прочих равных условиях испытуемые экспериментальной группы покажут лучший прирост в решении задач, исследователь имеет право сделать вывод о том, что его гипотеза подтвердилась. Если же результаты экспериментальной и контрольной группы не будут значительно различаться, значит, к изменениям в качестве решения задач привело не хорошее настроение, а какие-то другие факторы.

Сходное влияние оказывает естественное развитие человека, которое иначе называют эффектом взросления. Если эксперимент достаточно продолжителен или приходится па такие моменты жизни человека, когда созревание протекает быстрее, то исследователь имеет все основания сомневаться, по какой причине изменилась зависимая переменная: в результате воздействия независимой переменной или в результате естественного развития и созревания изучаемой психической функции.

В отличие от эффекта истории, побочной переменной в данном случае является не какое-то конкретное событие, повлиявшее на зависимую переменную, а изменения испытуемых, обусловленные течением времени. Так, например, в возрастной психологии известны периоды быстрых и достаточно глобальных изменений личности и психики, получившие название кризисов; в детском возрасте изменений больше, чем во взрослом.

Аналогичным образом действуют некоторые обстоятельства, такие как приспособление к новым условиям. Например, учащиеся в первые месяцы обучения в любом учебном заведении, работник, недавно принятый на новое место работы, пациент, попавший в больницу, призывник в армии адаптируются к новому месту, режиму, правилам поведения. Трудности, которые они испытывают поначалу, со временем сходят на нет, и трудно назвать конкретное событие, которое к этому приводит. Просто человек изменился, приладился к новым обстоятельствам и правилам.

К факторам взросления Кэмпбелл относит также менее глобальные изменения, такие как изменение физического состояния вследствие усталости, голода, пресыщения осуществляемой деятельностью и т.п. Подобно взрослению, эти факторы сказываются на работоспособности в целом, па функционировании всех психологических процессов, и достаточно сложно установить момент начала их влияния, поскольку у всех людей усталость, голод и т.и. возникают с разной скоростью, и сами люди, будучи занятыми экспериментальным заданием, могут заметить их не сразу.

Эффект взросления нарушает внутреннюю валидность, так как неизвестно, экспериментальное воздействие или изменение самих испытуемых за время эксперимента повлияло на зависимую переменную. Разрешить вопрос о том, какой из этих факторов оказался решающим, снова помогает . Например, оценка программы психологической адаптации на рабочем месте предполагает, что мы замеряем уровень психической напряженности и стресса у людей, только что поступивших на работу в ту или иную организацию. После этого с половиной из них работаем но программе адаптации, а половина адаптируется сама, без помощи психолога. Если по окончании программы обе группы покажут одинаковое снижение уровня психической напряженности и стресса, значит, программа не работает, а снижение негативных переживаний связано с эффектом взросления. Только если экспериментальная группа, работавшая по специальной программе, покажет более сильное снижение негативных переживаний, эту заслугу можно приписать эффективности программы.

Эффект тестирования - это влияние факта участия в исследовании на результаты исследования. Часто люди хотят показать себя с лучшей стороны, и, если, например, им сообщают, что изучается их обучаемость, они мобилизуются и стараются выполнить все задания как можно лучше. Поэтому в эксперименте они действуют так эффективно, как никогда не действуют в повседневной жизни.

Особенно часто эффект тестирования возникает в ситуациях контроля и оценки: при приеме на работу, психологическом отборе персонала, оценке эффективности работы сотрудников, сравнении их по каким-либо психологическим качествам, важным для той сферы, в которой они работают, при психологической экспертизе в клинике, в суде и т.п. Как следствие, перед исследователем встает вопрос о том, почему испытуемые показали определенные результаты: потому что экспериментальное воздействие столь эффективно или потому что испытуемые старались показать себя с лучшей стороны?

Другим источником эффекта тестирования является использование исследователем необычных процедур и заданий. Так, к опросникам, анкетам, интервью, тестам потенциальные испытуемые уже привыкли, они сталкиваются с ними на страницах журналов, на общественных мероприятиях, в Интернете, видят по телевизору. Если же исследователь использует более сложные процедуры, дает необычные задания, то сам факт выполнения такого задания или серии заданий может привести к изменению зависимой переменной. Примерами таких заданий могут быть просьба выполнить привычное действие непривычным способом или составить фигуру человека из ограниченного набора простых геометрических форм, решить хитрую задачу, не похожую па те, которые испытуемый когда-либо решал и т.п. В этом случае зависимая переменная изменится не в результате экспериментального воздействия, а по причине необычности предварительного и заключительного тестирования или необычности самих способов воздействия, и любое другое настолько же необычное воздействие приведет к такому же эффекту.

Использование контрольной группы для устранения этого эффекта не всегда помогает. Предварительное и заключительное тестирование проводятся в обеих группах, и данный факт может привести к тому, что результаты в контрольной группе изменятся так же, как и в экспериментальной, под действием эффекта тестирования. Но если этот эффект сопровождает экспериментальное воздействие, то в контрольной группе оно отсутствует, и испытуемые экспериментальной группы сталкиваются с двумя неразделимыми воздействиями, одно из которых - само экспериментальное воздействие, а второе - непривычность, новизна методики воздействия. В этом случае контрольная группа не поможет против эффекта тестирования.

Способом борьбы с эффектом тестирования является предварительная тренировка испытуемых. Им дают множество заданий, похожих на те, которые впоследствии будут использованы в исследовании, для того чтобы люди привыкли к ним, набрались опыта в обращении с ними, чтобы исчез эффект новизны или страх, неуверенность перед заданиями, с помощью которых их будут оценивать. Такая тренировка позволит уравнять всех испытуемых по опыту обращения с материалами исследования и в случае использования нового незнакомого инструментария позволит устранить влияние умелости и скорости обучения испытуемых.

Однако этот способ борьбы не позволяет оценить наличие или отсутствие эффекта тестирования, а также его силу. Для того чтобы определить, влияет ли данный эффект в ходе исследования и насколько сильно его влияние (нужно его устранять или им можно пренебречь), исследование строится в соответствии с планом Соломона, названного так по имени американского исследователя Р. Соломона. Этот план предполагает использование четырех групп испытуемых - двух экспериментальных (ЭГ1 и ЭГ2) и двух контрольных (КГ1 и КГ2) (табл. 11.1).

Таблица 11.1

План Соломона

Использование этого плана позволяет оценить эффективность экспериментального воздействия при наличии предварительного тестирования и при его отсутствии, поскольку эффект тестирования одинаково проявляется в экспериментальной и контрольной группах , а влияние независимой переменной проявляется только в экспериментальной гругге.

Эффект инструментария. Влияние инструментария (тех процедур, конкретных методик и материалов, которые использует исследователь в работе с испытуемыми) представляет собой особенно болезненную проблему в психологических исследованиях. Поэтому проблемам исследования, связанным с влиянием инструментария, уделяется много внимания при планировании исследования. Выше уже обсуждались проблемы, связанные с влиянием новизны и необычности методик исследования па внутреннюю валидность. Обсуждению специфических искажений результатов исследования, связанных с влиянием инструментария, посвящено особое понятие - "конструктная валидность", речь о которой пойдет впереди.

Также проблемы инструментария образуют важный вопрос при обсуждении надежности исследования, но не надо путать надежность и этот вид валидности. Методика может быть очень надежной в том смысле, что она при воспроизведении дает очень согласованные результаты, однако измерять на самом деле не то, что по замыслу исследователя она должна измерять, если внутренняя валидность низка, в частности, вследствие эффекта инструментария.

Эффект инструментария и его влияние па уровень внутренней валидности исследования проявляются, когда инструментарий недостаточно точен и допускает различие толкований одних и тех же или сходных результатов, если этот инструментарий меняется, дорабатывается, калибруется в процессе проведения исследования или дает разные результаты в зависимости от конкретных условий измерения. В этом случае побочной переменной, угрожающей внутренней валидности, являются флуктуации измерения. Исследователь не может сделать окончательный вывод о том, почему изменилась зависимая переменная - в результате экспериментального воздействия или в результате погрешности инструментария, который периодически давал различающиеся данные.

Например, если в исследовании факторов, влияющих на представления о социальной справедливости, исследователь менял вопросы опросника, диапазон или вид шкал оценки, добавлял и убирал варианты ответов, то пет ничего странного в том, что результаты предварительного и заключительного измерения будут различаться. Если исследователь по-разному дает инструкцию испытуемым, даже не меняя се сути, изменяет способ представления одних и тех же заданий, дает дополнительные комментарии при одном измерении и не дает их при другом - все это может привести к различиям в данных, вызванных не экспериментальным воздействием, а влиянием неточности инструментария.

Для борьбы с эффектом инструментария рекомендуется в первую очередь использовать надежные, хорошо себя зарекомендовавшие психологические методики и процедуры. Также важен размер выборки испытуемых: чем больше выборка, тем меньше влияние каждой отдельной ошибки на конечный результат. Когда инструментарий новый, следует как можно строже формализовать процедуру исследования: заранее сформулировать инструкцию испытуемым, информацию о целях и задачах исследования, четко сформулировать все действия, которые требуются от испытуемого, чтобы ни на шаг не отклоняться от процедуры. Следует заранее продумать несколько уклончивых ответов на вопросы испытуемых, наподобие "действуйте, как вам кажется правильным, здесь нет правильных или неправильных реакций", "какая формулировка (действие) лично вам ближе, то и пишите (так и делайте)" и т.п., чтобы испытуемые не различались по количеству информации об исследовании. Эти действия напрямую нацелены на снижение количества флуктуаций измерения, являющихся источником эффекта инструментария.

Регрессия к среднему, или статистическая регрессия в соответствии с определением Ф. Гальтона - эго эффект возврата системы к среднему состоянию. Влияние эффекта регрессии можно показать на следующем примере.

Представим двух студентов, один из которых в течение всего семестра готовился к семинарам, отвечал на все вопросы и получал высокие оценки, а второй ничего не учил и работал вполсилы. Когда пришло время итогового экзамена, первый студент простудился, заболел и вследствие этого сдал на тройку, а второй студент хорошенько посидел за книгами всю ночь и получил пятерку.

Обе эти оценки отражают отклонение от средней успеваемости каждого студента. Будут ли эти оценки адекватно отражать знания обоих студентов? Конечно, нет, так как первый студент, который учился в течение всего семестра и получал пятерки, доказал свои высокие знания и, попади он на экзамен на другой день или через неделю, в здоровом состоянии, обязательно получил бы пятерку. Второй студент, который выучил материал за ночь, столь же быстро его и забудет, и уже через неделю шансов на повторное получение высокого балла у него не будет. Эффект регрессии возникнет уже при повторной оценке знаний студентов, в которой каждый из них получит оценку, более близкую к его обычной (средней) успеваемости: отличник - более высокую, троечник - более низкую.

Такая же проблема возникает, если отбирать для исследования группы испытуемых с крайними показателями (очень высокими или очень низкими) по результатам однократного измерения. Например, если исследователь считает, что творческие способности испытуемых могут быть усилены с помощью занятий по мозаике, он должен измерить творческие способности у своих испытуемых, отобрать тех, кто продемонстрировал невысокие способности.

Допустим, повторное измерение покажет более высокие результаты но тесту творческих способностей в экспериментальной группе. Возможно, это результат экспериментального воздействия. Но не исключено, что возник эффект регрессии к среднему. Возможно, что испытуемые, отобранные для исследования, при первом замере показали не очень высокие творческие способности, потому что утром не позавтракали, приболели, всю ночь танцевали в клубе, поссорились с близкими, получили шокирующее известие и т.д. На самом деле эти люди имеют гораздо более высокие творческие способности, и, если бы не конкретные обстоятельства, они показали бы их в тесте. При повторном исследовании эти обстоятельства уже не влияли на испытуемых, и они продемонстрировали обычный для себя уровень творческих способностей. При этом результаты повторного измерения не повысились под влиянием независимой переменной (позитивных переживаний испытуемых), а вернулись к нормальному среднему результату, обычному для данных испытуемых.

Повторимся, что опасность регрессии к среднему особенно велика в том случае, когда для исследования отбираются испытуемые с крайней выраженностью исследуемого качества на основе однократного измерения. Если при этом будет набрана эквивалентная контрольная группа, то она покажет такое же изменение зависимой переменной, как и в экспериментальной группе, обусловленное регрессией к среднему. Неэквивалентная контрольная группа влияние регрессии к среднему не покажет (в приведенном выше примере неэквивалентной будет группа, собранная из испытуемых не только с низким, по и со средним и высоким уровнем творческих способностей).

Снизить вероятность возникновения регрессии можно, если отбирать испытуемых на основе многократного измерения исследуемого качества - например, на основе среднего уровня творческой способности но результатам выполнения нескольких эквивалентных субтестов в разные моменты времени. Это сложно и трудоемко, но в некоторых случаях, например, при оценке школьной успеваемости или если испытуемые участвуют в психологическом монторинге, многократные измерения их успеваемости и качеств, подвергаемых мониторингу, имеются в достаточном количестве до начала исследования.

Наконец, в тех случаях, когда уровень зависимой переменной был ниже среднего до экспериментального воздействия и стал выше после (а также наоборот был выше среднего, а после воздействия стал ниже), влияние статистической регрессии можно исключить, так как эффект регрессии к среднему не предполагает перехода за средние значения.

Эффект отбора испытуемых предполагает, что на изменение зависимой переменной может повлиять не только экспериментальное воздействие, но и специфические особенности выборки испытуемых. Этот эффект возникает, когда в экспериментальную и контрольную группы по не зависящим от исследователя причинам попали испытуемые, отличающиеся по определенным качествам.

Например, преподаватель хочет провести исследование на своих студентах и обещает за это поставить дополнительные баллы. Он делает объявление об этом в начале семестра, до проведения всех контрольных работ. Раньше всех на это приглашение откликнутся наиболее тревожные студенты, которые хотят подстраховаться на случай неудачи, недобора баллов на контрольной, а также наиболее мотивированные студенты, которым интересно самим испробовать на себе методы работы психолога. Позже, ближе к середине семестра, подтянутся те студенты, которые поняли, что предмет для них сложноват, что есть риск не набрать баллов на желаемую оценку. Самыми последними примут участие студенты, уже попробовавшие написать контрольную и понявшие, что без дополнительных баллов они не сдадут предмет.

Если преподаватель соберет всех студентов, пришедших первыми, в экспериментальную группу, а всех пришедших последними - в контрольную, то получит даже две побочные переменные. Испытуемые экспериментальной группы будут отличаться от контрольной не только наличием экспериментального воздействия, но и более высокой тревожностью и мотивацией участия в эксперименте. Поэтому исследователь не сможет сделать однозначного вывода, из-за чего изменилась зависимая переменная - в результате экспериментального воздействия или в результате различий в мотивации испытуемых.

Эффект отбора влияет не только сам по себе, часто он вступает во взаимодействие с другими эффектами. Так что если сама неэквивалентность групп не является побочной переменной, то в качестве последней может выступить взаимодействие отбора с другими эффектами. Взаимодействие отбора и эффекта взросления происходит, если в одну группу отбираются люди, которые быстрее или медленнее развиваются, утомляются, начинают испытывать голод и т.д., чем испытуемые другой группы. Допустим, участвовать в эксперименте преподавателя по формированию вторичного стресса в результате просмотра теленовостей первыми вызвались более тревожные студенты, а в контрольную группу были отобраны спокойные студенты. Тревожные студенты быстрее попадут под влияние вторичного стресса, но не потому что воздействие исследователя так эффективно, а потому что быстрее впадают в панику при встрече со стессором, чем спокойные студенты. Иначе говоря, не воздействие исследователя (просмотр теленовостей), а отбор испытуемых вкупе с эффектом взросления приводит к изменению зависимой переменной.

Взаимодействие эффекта отбора с эффектом истории может проявиться в том, что одно и то же событие окажет разное влияние на испытуемых разных групп. Например, исследователя интересует, влияет ли молчаливое присутствие преподавателя на успешность решения задач. Допустим, случайным образом в экспериментальную группу отобрались поклонники рок-музыки, а в контрольную - любители классики, т.е. произошел отбор испытуемых, который сам по себе не повлиял бы на исход эксперимента. Во время проведения эксперимента с улицы до испытуемых донеслись несколько тактов мелодии в стиле рок (случайное событие, которое по-разному скажется на членах двух групп). Это приведет к позитивным впечатлениям в экспериментальной группе и отсутствию таковых в контрольной. В результате нельзя будет сделать однозначный вывод о том, что именно повлияло па изменение качества решения - присутствие (отсутствие) преподавателя или позитивные впечатления, вызванные случайным событием (т.е. совместное действие эффектов отбора и истории).

Точно так же эффект отбора может вступать во взаимодействие с эффектом тестирования, если в одну группу отберутся испытуемые, более подверженные страху оценки и имеющие меньший опыт участия в психологических исследованиях, чем в другую. Эффект отбора и эффект инструментария могут привести к нарушению валидности, если в одну из групп отберутся испытуемые, па которых инструментарий дает меньше сбоев, а в другую - более сложные, критично настроенные или маргинальные испытуемые, на которых инструментарий дает больше сбоев.

Как возникает и как решается проблема неэквивалентности групп, лежащая в основе эффекта отбора, подробнее рассматривается в следующей главе при обсуждении межсубъектных экспериментальных планов. Здесь подчеркнем очевидное: чтобы проконтролировать нарушения внутренней валидности исследования из-за проблемы отбора и последующих проблем взаимодействия отбора и других эффектов, необходимо максимально уравнять экспериментальную и контрольную группы.

Эффект истощения (отсева) представляет собой такую угрозу внутренней валидности, когда испытуемые но каким-то причинам прекращают участие в исследовании между предварительным и заключительным тестированием. В результате перед исследователем встает вопрос: действительно ли изменение зависимой переменной от первого замера ко второму обусловлено действием независимой переменной, или результаты второго замера изменились, потому что часть людей выбыла, а оставшиеся обладают какими-то неизвестными исследователю общими психологическими особенностями, которые и повлияли на результат.

Ситуация, когда испытуемым не понравилось предварительное тестирование, они обиделись, разочаровались и ушли до завершения эксперимента, случается достаточно редко. Но если между предварительным и заключительным тестированием проходит достаточно времени для того, чтобы испытуемому и исследователю потребовалось встретиться несколько раз, то угроза эффекта истощения возрастает многократно.

Для того чтобы возник эффект истощения, не обязательно проводить продолжительные исследования, когда тех же самых испытуемых требуется разыскать через несколько месяцев. Простое опросное исследование на младших школьниках невозможно провести за один раз, если методики требуют от испытуемого усидчивости и внимания на протяжении более 40 мин. Для проведения всех методик исследователю придется встретиться со школьниками несколько раз. И в этом случае всегда возникает некоторое количество детей, которые заболели и по другим причинам не пришли в школу (произошло истощение выборки).

Дети, которые пройдут все методики такого исследования, отличаются, по крайней мере, лучшей посещаемостью школы по сравнению с теми, кто отсеялся. Лучшая посещаемость может быть связана с состоянием здоровья, более высокой мотивацией к учебе, лучшими отношениями с одноклассниками и т.д. Все это и есть возможные побочные переменные, которые возникают в результате отсева, смешиваются с экспериментальным воздействием и приводят к изменению зависимой переменной, в результате чего исследователь оказывается не в состоянии определить истинные причины ее изменения.

Контрольная группа могла бы помочь против эффекта истощения, если бы у исследователя были гарантии, что выбывание испытуемых происходит одинаково и равномерно, т.е. в экспериментальной и контрольной группах остаются психологически одинаковые испытуемые, а все остальные выбывают в обеих группах с одинаковой скоростью. Но, разумеется, таких гарантий нет. В разных группах выбывают разные люди и в разном количестве, и поэтому контрольная группа слабо спасает от эффекта истощения. Другой возможный способ борьбы - исключение из выборки результатов тех испытуемых, которые участвовали в первичном тестировании и не участвовали во втором. Но в этом случае к эффекту истощения добавится еще и эффект отбора испытуемых: исследователь сам в прямом смысле отберет из своих испытуемых только тех, кто по каким-то причинам прошел все исследование от начала до конца.

Очевидно, бороться с эффектом истощения сложно, так как если испытуемые не желают продолжать участие в исследовании, принуждать их к этому было бы как минимум неэтично. Можно снизить риск отсева, создавая дополнительную мотивацию для участия в исследовании. Такой мотивацией не обязательно является оплата; это может быть то, как исследователь представит важность результатов исследования, его конкретную пользу для людей вообще и испытуемых лично, затронет любопытство испытуемых к каким-то аспектам исследования и т.д. Главное, чтобы исследователь мотивировал испытуемых одинаково, чтобы различия в мотивации не выступили в качестве побочной переменной.

Также превентивной мерой отсева будет создание условий, чтобы испытуемому было удобно явиться на повторное исследование. Например, вероятность прихода па повторное исследование будет выше, если испытуемому не нужно специально ехать в лабораторию, если исследование проводится на месте его регулярного присутствия.

Таковы угрозы внутренней валидности. Их достаточно много, и разные способы построения исследования (экспериментальные планы) подвержены им в большей или меньшей степени. При планировании исследования автор обязательно должен учесть и проконтролировать влияние всех этих угроз, чтобы исследование не было напрасным, а по его результатам было возможно сделать надежные содержательные выводы о причинах исследуемых явлений. В табл. 11.2 кратко представлены все обсуждавшиеся выше угрозы внутренней валидности, характер их влияния, особенности исследования, повышающие вероятность их появления, и действия по их контролю.

Таблица 11.2

Угрозы внутренней валидности, особенности исследовательской процедуры, повышающие риск этих угроз, и способы их предотвращения

Окончание табл. 11.2

• Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях. С. 65.

• - См. Валидность...

  Большая психологическая энциклопедия

• - В. в. относится к степени уверенности, с к-рой можно судить о предполагаемой каузальной связи между переменными...

  Психологическая энциклопедия

• - - соответствие теста целям диагностики...

  Педагогический терминологический словарь

• - англ. validity; нем. Validitat/Gulltigkeit. Обоснованность и адекватность исследовательских инструментов...

  Энциклопедия социологии

• - англ. validity, empirical; нем. Validitat, empirische. Степень соответствия переменных и индикаторов эмпирическим данным...

  Энциклопедия социологии

• - англ. validity, logical; нем. Validitat, logische. Степень взаимосвязи и взаимной выводимости переменных и индикаторов...

  Энциклопедия социологии

• - от фр. valide в статистике - законность и достоверность исходной информации, надежность методики сбора, получения данных, в том числе и для экономических исследований...

  Словарь бизнес терминов

• - Степень соответствия переменных и индикаторов эмпирическим данным...

  Словарь бизнес терминов

• - Вид теоретической валидности, выражающийся в корреляции...

  Словарь бизнес терминов

• Большой экономический словарь

• - применительно к исходной статистической информации, используемой в экономических исследованиях: надежность информации, отсутствие в ней ошибок из-за неточности выбранной методики сбора данных...

  Экономический словарь

• - вал"...

  Русский орфографический словарь

• - вали́дность ж. Отсутствие ошибок, связанных с определением исходных посылок при разработке методики исследований; надежность информации...

  Толковый словарь Ефремовой

• - ВАЛИДНОСТЬ и, ж. validité f. <лат. validus. Действительность, законность, весомость, обоснованность; обладание юридической силой. Комлев 1992. || Способность образовать связную знаковую систему...

  Исторический словарь галлицизмов русского языка

• - 1) весомость, обоснованность; 2) действительность, законность; обладание юридической силой...

  Словарь иностранных слов русского языка

• - ...

  Словарь синонимов

"Внутренняя валидность" в книгах

4. Правдивость и валидность