יש או אין מובהקות? המרצה אומרת שאם התוצאה היא מתחת ל-0.05 אז ההבדל הוא מובהק, אבל יש הרבה מספרים ואני לא יודע איפה להסתכל.

[David Schultz]

 

[sense9]

אין מובהקות.
מסתכלים בטור של ה sig

צפה בקובץ המצורף 97799

אין מובהקות.
מסתכלים בטור של ה sig

 

[uzi2]

רק אוסיף שאמנם מומלץ להתיישר עם הגדרות המרצה, אבל למען הדיוק, ההחלטה דווקא על 5 אחוז היא שרירותית. זה לא שיש באמת הבדל מהותי בין
p=0.0495, ל- p=0.0505.
יתרה מכך, אני נדהם מאחוז החוקרים והרופאים, שמתבלבלים בבלבול הבייסיאני בכל מה שקשור לרמת המובהקות.
רמת המובהקות (p-value) לא מראה מה הסיכוי שהתוצאות שהתקבלו מראות על העדר קשר (ההיפותזה הנבדקת שגויה), אלא מה הסיכוי שבהינתן שאין קשר (או יותר נכון -שהשערת האפס נכונה), יתקבלו תוצאות כפי שהתקבלו או יותר מובהקות. זהו הבדל עצום, וניתקלתי אפילו בחוקרים ידועים (כמו רוברט פלומין בספר שידידנו הקוסם שלח אותי לקרוא) שנופלים בבלבול הזה, והוא לא היחיד. הבלבול הוא הבלבול בין הסיכוי ל- A בהינתן B, והסיכוי ל- B בהינתן A.
כלומר, ערך נמוך של P value לא בהכרח מראה שהתיאוריה הנבדקת נכונה.

יתרה מכך, בהרבה תחומים צריך להגדיר כמותית למה הכוונה בתיאוריה הנבדקת. יכול להיות שיהיה ערך P נמוך, ואכן שבוודאות תופעה מסוימת קיימת, אך בפועל היא קיימת רק בצורה די זניחה וחסרת משמעות. דווקא כאשר המדגם גדול, זה עלול לקרות.
לדוגמה, מחקר גדול שמאפשר לקבוע בוודאות שאכילה קבועה של מזון מסוים (בהיקף מסוים) מגדילה במאית האחוז את הסיכוי לחלות במחלה נדירה מסוימת.

יתרה מכך, הרבה פעמים אנשים מתייחסים ל- null hypothesis (השערת האפס) כאל "הכל אקראי", אבל גם ב-"הכל אקראי", צריך להגדיר מה שקרוי מהם המצבים שווי הסיכוי, ובאלו תנאים. במילים אחרות - תמיד חייבים להתייחס לפרטים הקטנים.

 

[sense9]

בגלל זה הרבה חוקרים לא מסתפקים ברמת המובהקות אלא בודקים גם את גודל האפקט (Cohen's d)