1,500 מדענים מתבטאים במשבר ההעתקות של המדע

Wistar_rat1

מה קורה כשמישהו מפרסם פריצת דרך שמדענים אחרים לא יכולים לשחזר?



הודעות לעיתונות פו-מדעית, המתייחסות למלטפת הפריצה הבאה שעלולה להיות באינטרנט. כל יום אחר, כך נראה, יש יזם אחר שמעיף בועות של הון סיכון מתוך ערפל הטכנו-אופטימיסטים, השולט על עמק הסיליקון. יש זרם אינסופי של טענות, וכל כך הרבה מתברר שמדובר בכלי אידוי, המבוסס על תוצאות ניסיוניות שהפכו את הדרך ברגע שנכנסו לתא ההד התקשורתי. לעתים קרובות מדי, הרעיון נהדר, אבל המדע פשוט לא שם כדי לגבות אותו, כך שהמוצר לעולם לא מופיע.



חדשות הטבע עשה סקר של קוראיו, כולל יותר מ -1,500 חוקרים, כדי לגלות מה הם חושבים על הבעיה של שכפול עבודתם של אחרים וקבלת תוצאות סותרות. בכל הנוגע לשחזור מדעי, המדענים מסכימים: יוסטון, יש לנו בעיה.



שחזור-גרפי-מקוון 4ה סֶקֶר מגלה עמדות סותרות לפעמים בקרב מדענים. יותר ממחצית מהנסקרים מסכימים כי קיים 'משבר' משמעותי לשחזור, פחות משליש סבורים כי אי שכפול תוצאות שפורסמו פירושו שהתוצאה שפורסמה שקרית, ורובם אומרים כי הם עדיין סומכים על הספרות שפורסמה. אבל יש מגוון רחב של בעיות שתורמות למחקר בלתי ניתן להפקה, החל משיטות לא ברורות או לא נחשפות ועד לקטיף דובדבנים, מזל רע או הונאה מוחלטת.

והבעיות משתנות לפי תחומים. נראה כי חוקי הפיזיקה משתנים לפחות, מכיוון שפיזיקאים מגיבים רואים בקורפוס בתחומם אמין מאוד. בתחומים דחופים יותר כמו רפואה, פשוטו כמשמעו, אף מגיב אחד לא הסכים עם הרעיון שכל מכלול המחקר הרפואי שפורסם הוא אמין. התוצאה היא שרופאים לא מאמינים לשטויות שאתה רואה על ד'ר עוז, וגם אתה לא צריך.



מיון תגליות בפועל מתוצאות חיוביות שגויות יכול להיות ממש קשה. כאשר לא ניתן לשחזר ניסוי, למה אי אפשר לשכפל את זה? כמה מההבדל מסתכם בכך שהשערה היא שקר למעשה, בניגוד לבני אדם שונים במעבדות שונות שעושים את הפרשנויות שלהם מעט שונות לפרוצדורה על ציוד שונה?



אולי באופן מפתיע, הרוב המכריע של המשיבים ל טֶבַע הסקר ציין הבנה טובה יותר של הסטטיסטיקה כדבר מספר אחד שיאפשר שחזור טוב יותר בניסויים. המשמעות של זה היא שאפילו המדענים המדווחים על הנתונים לא תמיד מבינים עמוק מאוד את המתמטיקה שבה הם משתמשים כדי לנתח את הנתונים. קל להטעות בכוונה בסטטיסטיקה. זה אפילו קל יותר להטעות בטעות עם סטטיסטיקה כשאתה מנסה להסביר משהו שאתה לא מבין כל כך טוב בעצמך.

אחת הבעיות הגדולות האחרות היא שפשוט לא ממש שלטנו בזה. זה נראה ברור מאחור: אם אתה עושה דברים בצורה קפדנית ומדעית, אחרים יוכלו לשחזר את התוצאות שלך. אך בין לחץ לפרסום, אילוצים כספיים, ומעט מדי עיניים על גוף עבודה נתון, קל מאוד להיכנע לדיווח סלקטיבי של נתונים. כאשר המימון מונח על כף המאזניים, הנתונים נוטים להתגרענ סביב נקודות המאשרות את התזה הרצויה. חלק מלעשות מדע הוא להתעמת עם אמת מחרידה המתכנתים כבר יודעים: שלא משנה כמה המעבדה שלך נוראית, כל השאר זה בדיוק פרוץ ביחד, והאנשים שעשו את זה ידעו בדיוק כמוך, בטח בתקציב בדיוק כמו שלך. אין קנוניה ענקית. שכפול רק מת באלף חתכים.



הזהירו מראש מונחים

שחזור-גרפי-מקוון 5זה אולי נראה פשטני, אבל הדבר היחיד שהמדענים הסכימו עליו במקהלה היה שהגיע הזמן להתחיל לבנות צעדים לשחזור לניסויים בשלב התכנון. ניסיון לאמת את התוצאות שלך קשה. אם כבר ביצעת שגיאה, רוב הסיכויים שתתעלם ממנה גם כשאתה שפוי בודק את עבודתך. אבל יש דרך לעקוף את זה. רישום מראש היא אסטרטגיה שבה מדענים מגישים השערות ותוכניות לניתוח נתונים לצד שלישי עצמאי כלשהו, ​​ומביטים בעיני גורם חיצוני בתוכנית המשחק לפני שהם יעשו את הניסויים. מטרה זו נועדה להדק את תכנון הניסוי, ולמנוע מאוחר יותר נתוני קטיף דובדבנים.

אולם לב הבעיה הוא טבע האדם.



חשיבה משאלה, בשילוב עם הלחץ לבצע ולייצר, מובילים אותנו להתמכר לאמונה במה שאנחנו מקווים שנכון. אתה זוכר צחוק מתכווץ מתי הבצל התבדח על הוספת שלב 'חפש מימון' לשיטה המדעית? העובדה שמדענים צריכים להתחנן ולהתחרות על מימון, ולהכניס שיווק למחקר, היא הסיבה שאנו מקבלים מתרוצץ כמו תרנוס , סטארט-אפ רפואי בעמק הסיליקון שתביעותיו המפריעות אגרו כמויות אדירות של הון סיכון אך נראה שהוא אדי. קל להתמקד במה שאנחנו רוצים לראות - וזה נכון באותה מידה לגבי הדיוטות כמו חוקרי STEM ותיקים. בסופו של דבר, נראה כאילו רייגן צדק: אמון, אבל אמת.