"Danish mask study"
Nov. 29th, 2020 08:29 pm![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
arechЭтот год доставляет мне какое-то нескончаемое бомболейо относительно использования статистики и тервера медиками. Вот только вчера отбомбило про более-менее трудное "отсутствие доказательств не есть есть доказательство отсутствия" (и, да, признаю, что конкретно в том контексте это действительно скорее придирка вызванная топтанием по больной мозоли), как сегодня Талеб чётко сформулировал всего лишь несколько соображений про недавно опубликованную странную работу, уже весьма известную как "Danish mask study".
Работа, напомню показала, что по мнению авторов, ношение масок хоть и несколько улучшает прогноз по заражаемости, но крайне слабо, статистически не значимо (2.1% vs 1.8%, или 42/2392 vs. 53/2470, проверяли по титрам антител), что как бе по их мнению намекает, что маски не особо-то работают. Тут, как бе, сразу уже возникает интересare you okhreneli tam? как это им так удалось сдизайнить стади, показавшее столь выдающееся низкую эффективность масок, однако дело оказалось даже не в дизайне (или точнее - совсем не только в дизайне).
Оказывается чуваки в белых халатах на модных табуреточках доказательной медицины зафакапили чуть более чем всю интерпретацию полученных результатов.
Конкретно, как минимум, они продолбали:
- сильный статистический сигнал в виде результатов PCR тестов (0 против 5) и клинической диагностики (5 против 10)
---- вероятность получить 0 реализаций из 2392 попыток в схеме бернулли со средним 5/2470 составляет 0,79% (нужна поправка на FPR****)
---- аналогичное по PCR+клинике даёт вообще 0,38% (нужна поправка на FPR****) - оба этих сигнала остались авторами не замеченными.
- путают условные и полные вероятности, не учитывая, что серьёзная доля инфицирований при локдауне - внутридомовые, где масок не носят; и вообще стади маски против без_масок вне домов проводилось в условиях, когда главные super-spreader events невозможны - рестораны, бары и прочие кафе были закрыты на карантин, т.е. ну как бы самый не реалистичный юзкейс.
- и самая мякотка - они вообще не учитывали характеристики ошибок тестов на антитела. И это при том, что сигнал у них находится в самых хвостах распределений - 2% они выявили инфицированных, а о том, сколько среди них фальш-положительных они не подумали. Вот Талеб показывает, если тест даёт 1% фальшивоположительных (стади собирало данные по самое начало июня, какие характеристики тесты имели в то время, вопрос открытый. Современный тест на IgG к нуклеокапсидному белку, которые делает, например, Инвитро, по их утверждениям** имеет специфичность 99.6%, т.е. 0.4% фальшположительных - не 1%, да, но это современный тест. Например, вот тут от сентября со ссылкой на кохрейн в качестве специфичности используют 98,7%, т.е. фпр уже 1,3%), то получаем следующий расклад:
Для масок: (42(по антителам) - (1%FPR от 2392 масочников) + 5 (PCR+клинические))/2392 = 0,96%
Без масок: (48 (по а/т) - (1%FPR от 2470 без_масок) + 15 (PCR+клиника))/2470 = 1,55%
Тут правда я не знаю, можно делать +5/+15, т.к. они уже могут быть учтены в цифрах по антителам, но это надо как минимум лезть в папир, а то и в сырые данные.
Ну и да, вычитать ещё home infections, что сделает разницу ещё острее.
Короче, блин, это стади просто номинацияна премию Дарвина на "факап года", ибо правильная интерпретация данных просто переворачивает вывод с головы на ноги.
Это, блин, десять лет расстрелов на помойке без права переписки с последующей сдачей в рабство на мехмат мыть сортиры...
--------------
** - я лично писал им в суппорт вопрос о характеристиках их IgG теста. "Чувствительность теста 100% и специфичность к вирусу 99,6%" - это дословный ответ. Однако, тот же сборник на bmj со ссылкой на кохрейн пишет следующее: "For IgG alone the maximum sensitivity was 88.2% at days 15-21 after symptom onset.". Поэтому что-то мне внезапно стало очень интересно, чтож такого волшебного произошло с -сентрября, что чувствительность/специфичность так скаканули? Или традиционно - просто наврали?
UPD: не, не наврали, см тут раздел Abbott Architect SARS-CoV-2 IgG (Инвитра говорит, что они его используют). Действительно чувствительность 100%, но 95%CI (95.8%; 100%) и действительно специфичность 99.6%, но 95%CI (99.0%; 99.9%).
Так что Талебовские 1% даже сегодня вполне правдоподобны.
**** - FPR для RT-PCR составляет 5%, что для 5 положительных вроде как пренебрежимо.
И да, по PCR они не всех тестировали, а вроде как 124 против 140, если я правильно понял. Тогда я нифига-не-пони, как они на 124 людях при 5% ФПР получили 0 положительных. вопросы-вопросики...
Короче, тут, конечно, прежде чем делать окончательные выводы, надо сначала всё разобрать до атомов, и это правильно, но это всё равно как-то не хорошо пахнет.
Работа, напомню показала, что по мнению авторов, ношение масок хоть и несколько улучшает прогноз по заражаемости, но крайне слабо, статистически не значимо (2.1% vs 1.8%, или 42/2392 vs. 53/2470, проверяли по титрам антител), что как бе по их мнению намекает, что маски не особо-то работают. Тут, как бе, сразу уже возникает интерес
Оказывается чуваки в белых халатах на модных табуреточках доказательной медицины зафакапили чуть более чем всю интерпретацию полученных результатов.
Конкретно, как минимум, они продолбали:
- сильный статистический сигнал в виде результатов PCR тестов (0 против 5) и клинической диагностики (5 против 10)
---- вероятность получить 0 реализаций из 2392 попыток в схеме бернулли со средним 5/2470 составляет 0,79% (нужна поправка на FPR****)
---- аналогичное по PCR+клинике даёт вообще 0,38% (нужна поправка на FPR****) - оба этих сигнала остались авторами не замеченными.
- путают условные и полные вероятности, не учитывая, что серьёзная доля инфицирований при локдауне - внутридомовые, где масок не носят; и вообще стади маски против без_масок вне домов проводилось в условиях, когда главные super-spreader events невозможны - рестораны, бары и прочие кафе были закрыты на карантин, т.е. ну как бы самый не реалистичный юзкейс.
- и самая мякотка - они вообще не учитывали характеристики ошибок тестов на антитела. И это при том, что сигнал у них находится в самых хвостах распределений - 2% они выявили инфицированных, а о том, сколько среди них фальш-положительных они не подумали. Вот Талеб показывает, если тест даёт 1% фальшивоположительных (стади собирало данные по самое начало июня, какие характеристики тесты имели в то время, вопрос открытый. Современный тест на IgG к нуклеокапсидному белку, которые делает, например, Инвитро, по их утверждениям** имеет специфичность 99.6%, т.е. 0.4% фальшположительных - не 1%, да, но это современный тест. Например, вот тут от сентября со ссылкой на кохрейн в качестве специфичности используют 98,7%, т.е. фпр уже 1,3%), то получаем следующий расклад:
Для масок: (42(по антителам) - (1%FPR от 2392 масочников) + 5 (PCR+клинические))/2392 = 0,96%
Без масок: (48 (по а/т) - (1%FPR от 2470 без_масок) + 15 (PCR+клиника))/2470 = 1,55%
Тут правда я не знаю, можно делать +5/+15, т.к. они уже могут быть учтены в цифрах по антителам, но это надо как минимум лезть в папир, а то и в сырые данные.
Ну и да, вычитать ещё home infections, что сделает разницу ещё острее.
Короче, блин, это стади просто номинация
Это, блин, десять лет расстрелов на помойке без права переписки с последующей сдачей в рабство на мехмат мыть сортиры...
--------------
** - я лично писал им в суппорт вопрос о характеристиках их IgG теста. "Чувствительность теста 100% и специфичность к вирусу 99,6%" - это дословный ответ. Однако, тот же сборник на bmj со ссылкой на кохрейн пишет следующее: "For IgG alone the maximum sensitivity was 88.2% at days 15-21 after symptom onset.". Поэтому что-то мне внезапно стало очень интересно, чтож такого волшебного произошло с -сентрября, что чувствительность/специфичность так скаканули? Или традиционно - просто наврали?
UPD: не, не наврали, см тут раздел Abbott Architect SARS-CoV-2 IgG (Инвитра говорит, что они его используют). Действительно чувствительность 100%, но 95%CI (95.8%; 100%) и действительно специфичность 99.6%, но 95%CI (99.0%; 99.9%).
Так что Талебовские 1% даже сегодня вполне правдоподобны.
**** - FPR для RT-PCR составляет 5%, что для 5 положительных вроде как пренебрежимо.
И да, по PCR они не всех тестировали, а вроде как 124 против 140, если я правильно понял. Тогда я нифига-не-пони, как они на 124 людях при 5% ФПР получили 0 положительных. вопросы-вопросики...
Короче, тут, конечно, прежде чем делать окончательные выводы, надо сначала всё разобрать до атомов, и это правильно, но это всё равно как-то не хорошо пахнет.
