כ-50% מהניסויים המדעיים התבררו כבלתי ניתנים לשחזור

2024 מְחַבֵּר: Seth Attwood | [email protected]. שונה לאחרונה: 2023-12-16 16:05

במקרה, בזרם של חדשות ומידע, נתקלתי במאמר ב-Nature Scientific Reports. הוא מציג נתונים מסקר של 1,500 מדענים על יכולת השחזור של תוצאות מחקר מדעי. אם קודם לכן הועלתה בעיה זו למחקר ביולוגי ורפואי, כאשר מצד אחד היא ניתנת להסבר (מתאמים כוזבים, המורכבות הכללית של המערכות הנחקרות, לפעמים אפילו תוכנה מדעית מואשמת), מצד שני, יש לה תופעה פנומנולוגית. אופי (לדוגמה, עכברים נוטים להתנהג בצורה שונה עם מדענים מגדרים שונים (1 ו-2)).

עם זאת, לא הכל חלק ועם יותר מדעי הטבע כגון פיזיקה והנדסה, כימיה, אקולוגיה. נראה שדווקא הדיסציפלינות הללו מבוססות על ניסויים "ניתנים לשחזור" שבוצעו בתנאים המבוקרים ביותר, אבוי, תוצאה מדהימה - במלוא מובן המילה - של הסקר: עד 70% התמודדו חוקרים לא ניתן לשחזור ניסויים ותוצאות שהושגו לא רק על ידי קבוצות אחרות של מדענים, אבל ועל ידי המחברים / מחברים שותפים של יצירות מדעיות שפורסמו!

האם כל חופן משבח את הביצה שלו?

למרות ש-52% מהנשאלים מצביעים על משבר של שחזור במדע, פחות מ-31% רואים בנתונים שפורסמו שגויים מיסודו והרוב ציינו שהם עדיין סומכים על העבודה שפורסמה.

כמובן, לא צריך לפרוץ את הכתף ולעשות לינץ' בכל המדע ככזה רק על בסיס הסקר הזה: מחצית מהנשאלים היו עדיין מדענים הקשורים, בדרך זו או אחרת, לדיסציפלינות ביולוגיות. כפי שמציינים המחברים, בפיזיקה ובכימיה, רמת השחזור והאמון בתוצאות המתקבלות גבוהות בהרבה (ראה גרף למטה), אך עדיין לא 100%. אבל ברפואה המצב גרוע מאוד בהשוואה לכל השאר.

בדיחה עולה בראש:

למרקוס מונאפו, פסיכולוג ביולוגי מאוניברסיטת בריסטול, אנגליה, יש עניין רב שנים בשחזור של נתונים מדעיים. כשהוא נזכר בימי תלמידו, הוא אומר:

פעם אחת ניסיתי לשחזר ניסוי מספרות שנראה לי פשוט, אבל פשוט לא הצלחתי לעשות את זה. היה לי משבר אמון, אבל אז הבנתי שהחוויה שלי לא כל כך נדירה.

בעיית עומק קו רוחב וקו אורך

תאר לעצמך שאתה מדען. נתקלתם בכתבה מעניינת, אך לא ניתן לשחזר את התוצאות/ניסויים במעבדה. הגיוני לכתוב על כך לכותבי המאמר המקורי, לבקש עצות ולשאול שאלות הבהרה. לפי הסקר, פחות מ-20% עשו זאת אי פעם בקריירה המדעית שלהם!

מחברי המחקר מציינים שאולי, קשרים ושיחות כאלה קשים מדי עבור המדענים עצמם, מכיוון שהם חושפים את חוסר יכולתם וחוסר העקביות שלהם בנושאים מסוימים או חושפים יותר מדי פרטים של הפרויקט הנוכחי.

יתרה מכך, מיעוט מוחלט של מדענים ניסה לפרסם הפרכה של תוצאות בלתי ניתנות לשחזור, תוך כדי התנגדות של עורכים ומבקרים. דרש להמעיט בהשוואה למחקר מקורי. פלא שהסיכוי לדווח על אי-שחזור של תוצאות מדעיות הוא כ-50%.

אולי, אם כן, כדאי לפחות לבצע בדיקת שכפול בתוך המעבדה? הדבר הכי עצוב הוא ששליש מהנשאלים אפילו לעולם לא ולא חשב על יצירת שיטות לאימות נתונים לשחזור. רק 40% ציינו שהם משתמשים בטכניקות כאלה באופן קבוע.

דוגמה נוספת, ביוכימאית מבריטניה, שלא רצתה לחשוף את שמה, אומרת שניסיונות לחזור, לשחזר עבודה עבור פרויקט המעבדה שלה פשוט מכפילים את עלויות הזמן והחומר, מבלי לתת או להוסיף משהו חדש לעבודה. בדיקות נוספות מתבצעות רק עבור פרויקטים חדשניים ותוצאות חריגות.

וכמובן, השאלות הרוסיות הנצחיות שהחלו לענות עמיתים זרים: מי אשם ומה לעשות?

מי אשם?

מחברי העבודה זיהו שלוש בעיות עיקריות של שחזור תוצאות:

• לחץ מצד הממונים לפרסם את העבודה בזמן
• דיווח סלקטיבי (כנראה, זה אומר דיכוי של נתונים מסוימים, ש"מקלקלים" את כל התמונה)
• ניתוח נתונים לא מספיק (כולל סטטיסטי)

מה לעשות?

מתוך 1,500 שנסקרו, יותר מ-1,000 מומחים דיברו בעד שיפור סטטיסטיקה באיסוף ועיבוד נתונים, שיפור איכות הפיקוח של הבוסים ותכנון קפדני יותר של ניסויים.

מסקנה וקצת ניסיון אישי

קוֹדֶם כֹּל, אפילו עבורי, כמדען, התוצאות מדהימות, למרות שאני רגיל לרמה מסוימת של אי-שחזור של התוצאות. זה בולט במיוחד בעבודות שבוצעו על ידי הסינים וההודים ללא "ביקורת" של צד שלישי בדמות פרופסורים אמריקאים/אירופאים. טוב שהבעיה זוהתה וחשבו על פתרונה(ים). אני אשתוק בטקט לגבי המדע הרוסי, בקשר לשערורייה האחרונה, למרות שרבים באמת עושים את עבודתם.

שנית, המאמר מתעלם (או ליתר דיוק, אינו מתייחס) לתפקידם של מדדים מדעיים וכתבי עת מדעיים שנבדקו עמיתים בהופעתה והתפתחותה של בעיית אי-השחזור של תוצאות מחקר. במרדף אחר מהירות ותדירות הפרסומים (קריאה, עלייה במדדי הציטוטים), האיכות יורדת בחדות ואין זמן לאימות נוספת של התוצאות.

כמו שאומרים, כל הדמויות הן בדיוניות, אבל מבוססות על אירועים אמיתיים. איכשהו לסטודנט אחד הייתה הזדמנות לסקור מאמר, כי לא לכל פרופסור יש את הזמן והאנרגיה לקרוא את המאמרים בצורה מהורהרת, ולכן נאספת דעתם של 2-3-4 סטודנטים ורופאים, שמהם נוצרת הביקורת. נכתבה סקירה, היא הצביעה על אי-שחזור של התוצאות לפי השיטה המתוארת במאמר. זה הוכח בבירור לפרופסור. אבל כדי לא לקלקל את היחסים עם "קולגות" - הרי הם מצליחים בהכל - הביקורת "תוקנה". ויש 2 או 3 מאמרים כאלה שפורסמו.

מתברר מעגל קסמים. המדען שולח את המאמר לעורך כתב העת, שם הוא מציין " רצוי"ובעיקר," לא רצוי »הסוקרים, כלומר, בעצם, משאירים רק את אלה בעלי נטייה חיובית כלפי צוות המחברים. הם סוקרים את העבודה, אבל הם לא יכולים "לחרבן בתגובות" ולנסות לבחור את הפחות משתי רעות - הנה רשימה של שאלות שצריך לענות עליהן, ואז נפרסם את המאמר.

דוגמה נוספת, עליה דיבר עורך נייצ'ר רק לפני חודש, היא הפאנלים הסולאריים של גרזל. בשל ההתעניינות האדירה בנושא זה בקהילה המדעית (הרי עדיין רוצים מאמר ב-Nature!), העורכים נאלצו ליצור שאלון מיוחד בו הם צריכים לציין הרבה פרמטרים, לספק כיול ציוד, תעודות וכו' כדי לאשר ששיטת מדידת לוחות יעילות תואמת לכמה עקרונות ותקנים כלליים.

ו, שְׁלִישִׁי, כששוב שומעים על חיסון פלא שכובש הכל וכולם, סיפור חדש על ג'ובס בחצאית, סוללות חדשות או הסכנות/יתרונות של הנדסה גנטית או קרינת הסמארטפונים, במיוחד אם קודמו על ידי כותבים צהובים מהעיתונות, אז התייחס בהבנה ואל תקפוץ למסקנות. המתן לאישור התוצאות על ידי קבוצות אחרות של מדענים, הצטברות המערך ודגימות נתונים.

נ.ב: המאמר תורגם ונכתב בחופזה, על כל השגיאות ואי הדיוקים ששמו לב, נא לכתוב ב-LAN.