Команда Брайана Носека (Brian Nosek), социального психолога и главы Центра Открытой Науки в Шарлотсвилле (штат Виргиния, США) вместе с 269 соавторами повторили исследования из 98 работ по психологии, опубликованных в трех рецензируемых журналах, чтобы посмотреть, смогут ли они получить такие же результаты, как и авторы этих статей.

При этом они собрали достаточно широкую выборку исследований для повторения, задачи в которых ранжировались, например, от изучения различий между взрослыми и детьми в реакциях на устрашающие стимулы, и до исследований эффективных методов обучения арифметике.

Согласно результатам этой работы, ранее опубликованным в журнале Nature, только 39 из 100 воспроизведений можно признать успешными (2 оригинальные работы из 98 были воспроизведены дважды независимыми командами, поэтому общее количество воспроизведений больше, чем количество исследованных работ). Однако в статье в Nature не давалось подробного объяснения того, в каком случае то или иное воспроизведение признавалось успешным. В этой статье из журнала Science команда исследователей рассказывает более подробно о своей методологии (см. рисунок Reliability Test):

При более строгом взгляде, картина складывается ещё более печальная. Несмотря на то, что в 97% оригинальных исследований сообщалось об обнаружении значительного эффекта, только в 36% повторений удалось получить значимые результаты. Кроме того, в среднем эти результаты были вдвое менее значимы, чем в оригинальных публикациях.

Хотя Носек и отмечает, что на основании его работы нельзя сделать вывод о том, что та или иная конкретная работа правдива или неправдива, поскольку ошибки могли произойти, как во время проведения оригинального исследования, так и во время воспроизведения, но в целом его проект указывает на существование серьезной проблемы публикации значительного количества работ, не выдерживающих никакой критики.

Этот проект является частью более крупного проекта под названием "Reproducibility Project", который был запущен в 2011 году на фоне громких сообщений о мошенничестве и неправильном использовании инструментов статистического анализа при обработке результатов, которые привели к кризису идентичности в психологии.

Джон Иоаннидис (John Ioannidis), эпидимиолог из Стенфордского Университета (штат Калифорния, США) говорит о том, что в реальности % провалов при попытке воспроизведения работ по психологии может достигать уровня аж в 80%, что значительно превышает полученные Носеком результаты. Это связано с тем, что "Reproducibility Project" проверяет работы только в ведущих научных журналах, при их воспроизведении команда исследователей тесно сотрудничает с авторами оригинальных работ, а также с тем, что для воспроизведения выбираются сравнительно простые исследования.

Но он также добавляет, что результаты работы Носека нужно использовать не для того, чтобы посыпать голову пеплом, а для того, чтобы попытаться улучшить текущую ситуацию. Сам факт того, что авторы оригинальных работ согласились тесно сотрудничать с исследователями говорит об их желании двигаться в правильном направлении.

По мнению Эндрю Гельмана (Andrew Gelman) из Колумбийского Университета в Нью-Йорке, главной ценностью работы Носека, опубликованной в журнале Science, от других работ, посвященных проблеме воспроизводимости психологических исследований, является её масштаб. Никогда ранее исследователи не работали с такой большой выборкой оригинальных работ, и поэтому не могли оценить весь потенциальный масштаб проблемы. Сейчас же у них появилось эмпирическое доказательство существования серьезной проблемы в психологии, и он надеется, что это заставит многих авторов быть более осторожными при публикации результатов своих работ.

Своей целью Носек ставит не критику отдельных работ, но привлечение внимания к проблеме предвзятости при публикации исследовательских работ по психологии даже в ведущих мировых научных журналах. Например, многие точные, но скучные исследования сейчас не получают возможности быть опубликованными, потому что издатели отдают предпочтение сенсационным результатам, которые могут быть вообще получены по случайности или за счет манипулирования со статистическими данными.

Носек верит, что данная проблема не является исключительно проблемой психологии, а имеет место и в отношении других наук. Например, одна аналитическая работа показала, что только 6 из 53 работ по исследованию рака в Биологии могут быть успешно воспроизведены. И в настоящее время в Биологии запущен аналогичный масштабный проект по проверке достоверности публикаций в ведущих научных биологических журналах. Желание получить значимые результаты и публикацию настолько высоко среди исследователей, что иногда приводит к потере возможности объективно оценивать свою работу. И если это происходит в широких масштабах, то, по мнению Носека, ставит под сомнение возможность использования научных публикаций в принципе, поскольку они перестают отражать реальную действительность, а начинают рисовать сказочные картинки.

Опубликованные в журнале Science результаты работы команды Носека уже привели к возникновению жарких споров в среде издателей научной литературы по поводу необходимости пересмотра существующих подходов к отбору и публикации статей в журналах.