Eugene Kirpichov (antilamer) wrote,
Eugene Kirpichov
antilamer

Об p-value

Вопрос на mathoverflow про частые ошибки интерпретации статистики.

Начитавшись комментариев к этому вопросу, я, наконец, просёк одну из фишек p-value; чего и вам советую:

p-value - величина, получаемая при попытке проверить некоторую "альтернативную" гипотезу (например, "у меня рак") относительно "базовой" ("я здоров") с помощью теста (например, концентрации каких-нибудь штук в крови). Предполагается, что известно, что чем более экстремален результат теста, тем менее вероятна базовая гипотеза.

p-value говорит, насколько вероятен был бы полученный результат теста, если бы была верна базовая гипотеза. (плюс ещё несколько предположений, которые я пока что не постиг интуитивно)
Например, если тест на рак отверг гипотезу о здоровье на p-value=0.01, это означает, что лишь у 1% здоровых людей так много штук в крови.

Многие неправильно интерпретируют p-value: мол, p-value - это вероятность истинности базовой гипотезы.
Nothing could be further from the truth.

Вот два утверждения:
1) Лишь у 1% здоровых людей в крови так много штук
2) Лишь 1% людей, у которых в крови так много штук, здоровы (т.е. те, у кого много штук, с вероятностью 99% больны)

p-value говорит о первом из них. А разница между ними - такая же, как между "70% алкоголиков - мужчины" и "70% мужчин - алкоголики" (на самом деле менее 18% в США).

Проще говоря, эти утверждения не имеют друг с другом ничего общего, и без дополнительной информации вывести правильную цифру для утверждения 2 невозможно.

Например, предположим, что в целом по населению частота интересующей нас формы рака - 1 на миллион.
Тогда, если тест сказал "лишь у 1% здоровых людей так много штук, как у вас", то это значит одно из двух:
1) я болен (т.е. я 1 человек из миллиона)
2) я один из тех 1% здоровых людей, у которых так много штук в крови (т.е. я 1 человек из 100)

Второе, естественно, на несколько порядков более вероятно; и вероятность моей болезни даже с учётом теста всё равно примерно 1 на миллион.

p-value применяется и для других тестов, например, для проверки наличия связи между переменными в выборке, и т.п.

Вот ещё статья про 12 ошибок понимания p-value, включая описанную и другие более коварные: http://www.perfendo.org/docs/BayesProbability/twelvePvaluemisconceptions.pdf - думаю, я до сих пор делаю некоторые из них.
  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 15 comments