מחקרים פסיכולוגיים נמצאו כשקריים ביותר מ-50% מהמקרים

2024 מְחַבֵּר: Seth Attwood | [email protected]. שונה לאחרונה: 2023-12-16 16:05

ישנן "תנוחות חזקות" שבונות ביטחון עצמי ומפחיתות את הורמוני הלחץ. כשאנשים מחזיקים כוס משקה חמים בידיהם, הם נעשים ידידותיים יותר לסובבים אותם. כוח רצון הוא משאב שאנו מוציאים כאשר אנו עומדים בפיתוי. היכולת לדחות תגמול קובעת את הצלחתו העתידית של הילד.

ההצהרות הללו מאוד דומות זו לזו: מאחוריהן מחקר פסיכולוגי ידוע, רבי מכר מדע פופולרי, טורים במגזינים פופולריים והרצאות TED.

יש להם גם דבר אחד נוסף במשותף: כולם התבררו כשגויים.

משבר השחזור הטיל ספק בתחומי מדע שלמים. רבות מהתוצאות, שצוטטו רבות בתקשורת, נחשבות כיום מוגזמות או שקריות. כאשר מדענים ניסו לשכפל גם ניסויים פסיכולוגיים קלאסיים וגם לאחרונה, התוצאות היו עקביות באופן מפתיע, כאשר כמחצית מהמקרים הצליחו והחצי השני נכשל.

המשבר התברר לבסוף ב-2015, כאשר מדענים בראשות בריאן נוסק בדקו 100 מחקרים פסיכולוגיים. הם הצליחו להשיג תוצאות ראשוניות רק ב-36 מקרים. העורך הראשי של Lancet, ריצ'רד הורטון, הצהיר במהרה:

ההאשמות נגד המדע הן די פשוטות: לפחות מחצית מהספרות המדעית פשוט שגויה. כשהוא סובל ממחקרים עם גודל מדגם קטן, אפקט מועט וניתוחים שגויים, כמו גם מאובססיה לטרנדים אופנתיים בעלי חשיבות מפוקפקת, המדע עבר תפנית לבורות.

יכולת שחזור היא אחת הדרישות המרכזיות לידע מדעי. ככל שהתוצאה משוכפלת טוב יותר, כך היא אמינה יותר - זו הדרך היחידה להפריד בין דפוסים אמיתיים לבין צירופי מקרים פשוטים

אבל התברר שלא תמיד דרישה זו מתקיימת.

המשבר התחיל ברפואה, אבל רובו השפיע על הפסיכולוגיה. בקיץ 2018, מדענים ניסו לשחזר מבחר מחקרים פסיכולוגיים שפורסמו ב-Science and Nature, כתבי העת המדעיים היוקרתיים בעולם. מתוך 21 ניסויים, רק 13 אושרו - וגם במקרים אלו, התוצאות המקוריות הוקצו בכ-50%.

לעתים קרובות, מבחן השחזור נכשל על ידי אותם מחקרים ששוכפלו בהרחבה בתקשורת והצליחו להשפיע על התודעה הציבורית. למשל, היצירות שמנועי החיפוש פוגעות בזיכרון, וקריאת ספרות מפתחת את היכולת להזדהות. אם ניסויים חוזרים ונשנים נכשלים, זה לא אומר שההשערות המקוריות חסרות ערך. אבל כעת נדרש מחקר טוב יותר כדי להוכיח אותם.

איך לחזות את העתיד בעזרת סטטיסטיקה

בשנת 2011 פרסם הפסיכולוג האמריקאי המפורסם דריל בוהם מאמר שהוכיח את האפשרות של ראיית רוח. מסקנה זו לא הייתה פרי דמיונו האלים, אלא התבססה על עשרות שנות מחקר, שכלל מאות אנשים. רבים חשדו שבוהם החליט לארגן משהו כמו ההונאה של סוקאל ולחשוף את הפסיכולוגיה עם מאמר מזויף עם מסקנות אבסורדיות בכוונה. אבל לפי כל הסטנדרטים המתודולוגיים, המאמר היה מאוד משכנע.

באחד הניסויים של בהם הוצבו שני מסכים מול המשתתפים - הם היו צריכים לנחש איזו תמונה מסתתרת מאחוריהם. התמונה נוצרה באופן אקראי מיד לאחר ביצוע הבחירה.אם המשתתפים עשו עבודה טובה, זה יעיד שהם יכולים איכשהו לצפות את העתיד. הניסוי השתמש בשני סוגים של תמונות: ניטרליות ופורנוגרפיות.

בוהם הציע שאם החוש השישי קיים, כנראה יש לו מקור אבולוציוני קדום. אם כך, אז סביר יותר שהוא מותאם לצרכים ולדחפים העתיקים ביותר שלנו

המשתתפים ניחשו תמונות פורנוגרפיות ב-53% מהמקרים - מעט יותר לעתים קרובות ממה שהיו צריכים אם היו במקרה טהור. בהתחשב במספר הגדול של ניסויים, בוהם יכול לטעון שקיימת ראיית הנולד.

מאוחר יותר, מומחים גילו כי בעת ניתוח התוצאות, הוא השתמש בשיטות לא לגמרי נכונות. ככלל, תוצאת מחקר נחשבת מהימנה אם ההסתברות שהיא התקבלה בטעות אינה עולה על 5%. אבל ישנן דרכים רבות להפחית את הערך הזה לרמה הנדרשת: לשנות את הפרמטרים הראשוניים של הניתוח, להוסיף או להסיר את המספר הנדרש של דוגמאות מהמדגם, השתמש בהשערות מוצלחות יותר לאחר איסוף הנתונים.

הבעיה היא שלא רק בוהם, אלא גם מדענים רבים אחרים השתמשו באותן טכניקות. על פי סקר משנת 2011, כמעט מחצית מהפסיכולוגים הודו בכך

כשיצא המאמר עם ראיית-הרוח, הבינו מדעני החברה ג'וזף סימונס, ליף נלסון ואורי סימונסון שהמדע הולך לחורבן שלו. הם בנו מספר מודלים ממוחשבים וגילו שבאמצעות טכניקות סטטיסטיות סטנדרטיות למדי, ניתן להעלות את רמת התוצאות החיוביות-שגויות מספר פעמים. המשמעות היא ששיטות שהן פורמלית מדעיות יכולות בקלות להוביל למסקנות אבסורדיות לחלוטין.

כדי להמחיש זאת, מדענים ערכו ניסוי שאישר שהאזנה לשיר "כשאני בן שישים וארבע" הופכת את המאזין לצעיר בשנה וחצי.

"כולם ידעו שזה לא נכון להשתמש בטכניקות כאלה, אבל הם חשבו שזו הפרה במשמעות שלה - כמו חציית הכביש במקום הלא נכון. התברר שזה דומה יותר לשוד בנק", סיכם סימונס.

איך להבדיל בין מחקר רע לטוב

עד מהרה התברר שבעיות שחזור אינן מוגבלות לפסיכולוגיה. בחקר הסרטן, ראיות מדעיות נתמכות ב-10-25% מהמקרים. בכלכלה, 7 מתוך 18 ניסויי מעבדה לא הצליחו לשכפל. גם מחקר בבינה מלאכותית מראה סימני משבר.

אבל לאבד אמון במדע, כך נראה, עדיין לא שווה את זה. מדענים כבר העלו כמה דרכים ששיפרו מאוד את המהימנות והאיכות של מחקר חדש

לפני מספר שנים, כמעט אף אחד לא פרסם תוצאות של ניסויים חוזרים, גם אם הם בוצעו. זה לא התקבל, לא הביא מענקים ולא תרם לקריירה מדעית מצליחה. על פי סקר של Nature, יותר מ-70% מהפסיכולוגים ניסו ולא הצליחו לשחזר מחקרים של אנשים אחרים, כמחציתם לא הצליחו לחזור על מחקריהם, וכמעט אף אחד לא ביקש לפרסם תוצאות אלו.

כאשר צץ משבר השחזור, הרבה השתנה. מחקרים חוזרים ונשנים הפכו בהדרגה לדבר שבשגרה; נתונים ניסויים החלו להתפרסם לעתים קרובות יותר ויותר ברשות הרבים; כתבי עת החלו לפרסם תוצאות שליליות ולתעד את תוכנית המחקר הכוללת עוד לפני שהחלו.

המחקר נעשה נרחב יותר - מדגם של 30–40 אנשים, שהיה די סטנדרטי בפסיכולוגיה, מתאים כעת למעט מאוד אנשים. ארגונים בינלאומיים גדולים - כמו ה- Psychological Science Accelerator - בודקים את אותן השערות בכמה מעבדות ברחבי העולם.

לפני שבדקנו את המאמרים של Nature and Science, עליהם כתבנו בהתחלה, התבקשו המדענים להמר על ההגרלות.הם היו צריכים לחזות איזה מחקר יעבור את המבחן ואיזה ייכשל. בסך הכל, התעריפים היו מאוד מדויקים. "משמעות הדבר היא, ראשית, שהקהילה המדעית יכולה לחזות אילו עבודות יוכלו לחזור על עצמו, ושנית, שחוסר האפשרות לשכפל את המחקר לא היה צירוף מקרים בלבד", אומרים מארגני הניסוי.

מדענים בדרך כלל טובים בלהבחין בין מחקר אמין למחקר לא אמין - אלו חדשות טובות. כעת מנסים מומחים מהמרכז למדע פתוח, יחד עם סוכנות DARPA, ליצור אלגוריתם שיבצע את אותה משימה ללא התערבות אנושית.

יש יותר מדי מאמרים שמתפרסמים מדי שנה מכדי לבדוק ידנית אפילו חלק קטן מהם. אם בינה מלאכותית תגיע לעניינים, הכל יהיה הרבה יותר קל.

כבר בבדיקות הראשונות, הבינה המלאכותית התמודדה בהצלחה עם התחזיות ב-80% מהמקרים.

מה הופך את המחקר לבלתי אמין לרוב? דגימות קטנות, חוסר עקביות במספרים, אישור יפה מדי להשערות. וגם - הרצון לתחושות ולתשובות פשוטות מדי לשאלות קשות.

טוב מכדי להיות אמיתי

הדרך הקלה ביותר ליצור מחקר סנסציוני היא באמצעות הונאה. הפסיכולוג החברתי המפורסם דידריק סטייפל השתמש בנתונים מפוברקים בכמה עשרות מאמרים מדעיים. מחקריו של סטייפל התפשטו בעיתונים ובמגזינים במהירות רבה, הוא קיבל מספר פרסים מדעיים יוקרתיים, פורסם ב-Science ונחשב לאחד המומחים הגדולים בתחומו.

פעם התברר שבמשך זמן רב סטייפל כלל לא ערך מחקר, אלא פשוט המציא נתונים ונתן אותם לסטודנטים לניתוח.

זה נדיר מאוד במדע. הרבה יותר חזק, אבל הצהרות לא נכונות מתעוררות מסיבות אחרות. אנשים מחפשים נואשות תשובות פשוטות, מובנות ויעילות לשאלות מרגשות. זה יכול להיות קל מאוד להתפתות לחשוב שיש לך את התשובות האלה, גם אם באמת אין לך. השאיפה לפשטות וודאות היא אחת הסיבות העיקריות לכך שמחקרים רבים לא מצליחים לבדוק את יכולת השחזור. הנה כמה דוגמאות בולטות.

ניסוי מרשמלו

בניסוי התבקשו הילדים לבחור בין פרס אחד קטן - כמו מרשמלו - שניתן לקבל מיד, לבין פרס כפול אם יוכלו לחכות קצת. מאוחר יותר התברר שילדים שקיבלו את הפרס השני הצליחו יותר בבגרותם. המחקר הפך לפופולרי מאוד והשפיע על חלק מתוכניות הלימודים בבית הספר.

בשנת 2018, הניסוי חזר על מדגם רחב יותר. התברר שהעושר במשפחה הוא גורם חשוב הרבה יותר, שבו תלויה גם רמת השליטה העצמית.

"תנוחות של כוח" ו"תנוחות של חולשה"

המשתתפים בניסוי עשו אחת משתי תנוחות במשך שתי דקות: הם נשענים לאחור בכיסא וזרקו את רגליהם על השולחן ("תנוחת כוח") או שילבו את ידיהם על החזה ("תנוחת חולשה"). כתוצאה מכך, המשתתפים מהקבוצה הראשונה הרגישו בטוחים יותר ולעיתים קרובות יותר הסכימו לקחת סיכונים בהימורים. מי שישב בעמדה חזקה העלה את רמות הטסטוסטרון, ומי שישב בעמדה חלשה העלה קורטיזול. בניסויים חוזרים, רק אפקט אחד שוחזר: "תנוחות כוח" עזרו למשתתפים להרגיש בטוחים יותר, אך לא שינו את ההתנהגות או הפרמטרים ההורמונליים שלהם.

אסוציאציות לזקנה גורמות לך לנוע לאט יותר

המשתתפים בניסוי התבקשו לפתור מספר חידות. אם הוכנסו לתוכם מילים הקשורות לזקנה - "שכחן", "קשיש", "בודד" - אז המשתתפים יצאו מהחדר בקצב איטי יותר.

בניסויים האחרונים, הניסוי שוחזר בהצלחה רק במקרה אחד: אם הנסיינים עצמם ידעו שבבדיקות המשתתפים רומזים על זקנה. האפקט עצמו נשאר, אבל הסיבות כבר היו שונות.

חפצים חמים הופכים אנשים ידידותיים יותר

המשתתפים בניסוי הורשו להחזיק כוס קפה חם או קר לזמן קצר, ולאחר מכן התבקשו לדרג את אישיותו של האדם באמצעות תיאור קצר. משתתפים שהחזיקו כוס קפה חמה דירגו את האדם כחביב יותר. בניסוי אחר, המשתתפים קיבלו פריט באריזה חמה או קרה ולאחר מכן התבקשו לשמור אותו או לתת אותו לחבר. אם הפריט היה עטוף באריזה חמה, סביר יותר שהמשתתפים יבחרו באפשרות השנייה. ניסויים חוזרים ונשנים עם מדגם רחב יותר לא הניבו תוצאות כאלה. זה נראה שבגדים חמים לא יהפכו אותך לאלטרואיסט.

כוח הרצון מתרוקן כאשר אנו עומדים בפיתויים

מול המשתתפים בניסוי הונחו שתי צלחות - עם עוגיות וצנוניות. בקבוצה הראשונה הותר למשתתפים לאכול עוגיות, ובשנייה רק צנוניות. לאחר מכן כל משתתף התבקש לפתור חידה בלתי אפשרית. משתתפים שאכלו רק צנוניות בחלק הראשון של הניסוי ויתרו הרבה יותר מוקדם מאחרים. בניסויים חוזרים, התוצאות לא אושרו.

בחלק מהמקרים יכולת השליטה העצמית לא התרוקנה, אלא אף התחזקה עם הזמן. פסיכולוגים רבים רואים כיום את המושג "כוח רצון" פשטני מדי.

הרבה כבר נעשה בפסיכולוגיה העולמית כדי להפוך את המחקר למהימן וניתן לשחזור. ברוסיה, הבעיה הזו עדיין לא נתפסה.

"בפסיכולוגיה הרוסית, הבעיות של המשבר עוסקות בעיקר בנוער מדעי, שמכוון במידה רבה למדע מערבי", אמר איבן איבנצ'י, פרופסור חבר ב-RANEPA, ל"סכין". - השליטה על איכות הפרסומים ברוסית בדרך כלל אינה גבוהה במיוחד. כתבי העת ממעטים לדחות מאמרים, ולכן מתפרסמים הרבה מחקרים באיכות נמוכה. לעתים קרובות נעשה שימוש בדגימות קטנות, מה שגם מפחית את הסבירות לרבייה מוצלחת. קיים חשד שאם מתמודדים ברצינות עם סוגיית השחזור של יצירות בשפה הרוסית, ניתן לגלות בעיות רבות. אבל אף אחד לא מעורב ישירות בזה".

בינואר 2019 נודע כי ממשלת רוסיה הולכת להרחיב משמעותית את הדרישות למדענים מבחינת מספר הפרסומים: המספר המינימלי של מאמרים שמתפרסמים בשנה אמור לגדול ב-30-50%.

מדענים מהאקדמיה המשפיעה "מועדון ה-1 ביולי" מתחו ביקורת על היוזמה: "משימת המדע היא לא לייצר את המספר המרבי של פרסומים, אלא לחקור את היקום ולהפיק תועלת מהידע שנצבר עבור האנושות". סביר להניח שהדרישות החדשות רק יגדילו את היקף הבעיה.

הסיפור על משבר השחזור אינו סיפור על האפוקליפסה הקרובה ועל פלישת הברברים. אם המשבר לא היה מתרחש, הכל היה הרבה יותר גרוע: עדיין היינו מתייחסים למחקר שגוי בביטחון מלא שאנו יודעים את האמת. אולי הזמן של כותרות נועזות כמו "מדענים בריטיים הוכיחו" מגיע לקיצה. אבל שמועות שהמדע מת צריכות להיחשב מוגזמות במקצת.