![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
arechВот это просто бомба, конечно!
В 2012 году пять учёных, среди которых настоящие суперзвёзды Дэн Ариели и Макс Базерман, опубликовали работу, в которой, в числе прочего, экспериментально доказывалось, что люди склонны давать более честные ответы, если у них затребовать обещание быть честным ДО собственно вопросов, в сравнении с обещанием "я всё сказал честно" постфактум. Эта работа стала очень известной и на ней основывалось множество решений до уровня вплоть американского Белого Дома.
В 2017 группа одного из авторов (Базерман) начала другие исследования и попыталась применить там ранее полученные знания из работы 2012. Обломились. Стали пытаться повторить исследование в других контекстах, привлекли всех прочих авторов исходной работы - и ничего повторить не смогли. Предположили, что данные исходной работы были плохо рандомизированы и в 2020 опубликовали не то, чтобы опровержение, но "красный флаг" о том, что с исходной работой не всё в порядке. Саму работу при этом, за недостатком согласия исходных авторов решили не отзывать (2 "за отзыв" против 3 "оставить"), но всё же опубликовали сырые данные исходной работы.
Недавно за эти сырые данные взялась другая группа исследователей и оказалось... это просто капец, адъ и израиль! Данные этой работы вне всяких малейших сомнений, сфабрикованы. Т.е., да, такая ирония - работа о людской честности оказалась враньём.
Подробности этого увлекательного расследования (с комментариями исходных авторов проблемной работы) отлично изложены https://datacolada.org/98. Приводить деталей, кроме одной самой пикантной, не буду: Smoking gun на стороне одного из соавторов, - того самого, знаменитейшего Дэна Ариели! Он был ведущий автор проблемного исследования и единственный из 5 авторов, кто предоставил сырые данные коллегам для обработки и общался со стороной, собиравшей эти данные - некой страховой компанией. Т.е. данные были сфабрикованы или той страховой компанией, или им самим лично. Бабах!
Причём исходя из представленных сведений и того, что говорили другие авторы, последний вариант личной вовлечённости Ариели полностью исключать нельзя. По меньшей мере, то как описывают детали другие авторы, у меня создаёт предположение, что Ариели был явно заинтересован именно в таком выводе из сырых данных, который и был опубликован и широко растиражирован (но подчеркну, что заинтересованность вовсе не означает, что он их фабриковал, - просто в силу confirmation bias он мог не видеть некоторых проблем в данных и не копал глубже).
Короче, суть даже не в том, что 2/3 (по старым оценкам; источник, впрочем не приведу, но должно легко гуглится) "исследований" и "учёные доказали" в психологии - это мусор, беспочвенная выдумка (я уж даже не заикаюсь об умозрительных "теориях" того или иного людского поведения). Суть в том, что любое "достоверное знание", каким бы оно железобетонным не казалось, без независимой проверки - это ещё не знание на самом деле. Скорее "обещание знания". И даже, когда такие обещания дают, казалось бы, самые авторитетные люди - это, в общем-то, ещё ничего особо не значит.
В связи с этим меня особенно умиляют люди, которые по интересующему их вопросу даже самостоятельно находят левый папир на сервере препринтов, читают в нём абстракт, и с непоколебимой уверенностью заявляют "я провёл собственное исследование и выяснил, что учёные давно и надёжно доказали <бла-бла-бла>". Вот только бла-бла-бла это и есть...
В 2012 году пять учёных, среди которых настоящие суперзвёзды Дэн Ариели и Макс Базерман, опубликовали работу, в которой, в числе прочего, экспериментально доказывалось, что люди склонны давать более честные ответы, если у них затребовать обещание быть честным ДО собственно вопросов, в сравнении с обещанием "я всё сказал честно" постфактум. Эта работа стала очень известной и на ней основывалось множество решений до уровня вплоть американского Белого Дома.
В 2017 группа одного из авторов (Базерман) начала другие исследования и попыталась применить там ранее полученные знания из работы 2012. Обломились. Стали пытаться повторить исследование в других контекстах, привлекли всех прочих авторов исходной работы - и ничего повторить не смогли. Предположили, что данные исходной работы были плохо рандомизированы и в 2020 опубликовали не то, чтобы опровержение, но "красный флаг" о том, что с исходной работой не всё в порядке. Саму работу при этом, за недостатком согласия исходных авторов решили не отзывать (2 "за отзыв" против 3 "оставить"), но всё же опубликовали сырые данные исходной работы.
Недавно за эти сырые данные взялась другая группа исследователей и оказалось... это просто капец, адъ и израиль! Данные этой работы вне всяких малейших сомнений, сфабрикованы. Т.е., да, такая ирония - работа о людской честности оказалась враньём.
Подробности этого увлекательного расследования (с комментариями исходных авторов проблемной работы) отлично изложены https://datacolada.org/98. Приводить деталей, кроме одной самой пикантной, не буду: Smoking gun на стороне одного из соавторов, - того самого, знаменитейшего Дэна Ариели! Он был ведущий автор проблемного исследования и единственный из 5 авторов, кто предоставил сырые данные коллегам для обработки и общался со стороной, собиравшей эти данные - некой страховой компанией. Т.е. данные были сфабрикованы или той страховой компанией, или им самим лично. Бабах!
Причём исходя из представленных сведений и того, что говорили другие авторы, последний вариант личной вовлечённости Ариели полностью исключать нельзя. По меньшей мере, то как описывают детали другие авторы, у меня создаёт предположение, что Ариели был явно заинтересован именно в таком выводе из сырых данных, который и был опубликован и широко растиражирован (но подчеркну, что заинтересованность вовсе не означает, что он их фабриковал, - просто в силу confirmation bias он мог не видеть некоторых проблем в данных и не копал глубже).
Короче, суть даже не в том, что 2/3 (по старым оценкам; источник, впрочем не приведу, но должно легко гуглится) "исследований" и "учёные доказали" в психологии - это мусор, беспочвенная выдумка (я уж даже не заикаюсь об умозрительных "теориях" того или иного людского поведения). Суть в том, что любое "достоверное знание", каким бы оно железобетонным не казалось, без независимой проверки - это ещё не знание на самом деле. Скорее "обещание знания". И даже, когда такие обещания дают, казалось бы, самые авторитетные люди - это, в общем-то, ещё ничего особо не значит.
В связи с этим меня особенно умиляют люди, которые по интересующему их вопросу даже самостоятельно находят левый папир на сервере препринтов, читают в нём абстракт, и с непоколебимой уверенностью заявляют "я провёл собственное исследование и выяснил, что учёные давно и надёжно доказали <бла-бла-бла>". Вот только бла-бла-бла это и есть...
