היום מתארח בבלוג ד"ר גל חיימוביץ', פוסט-דוקטורנט במכון וייצמן, חוקר בתחום הביולוגיה המולקולרית, נשוי ואב לשניים. כותב את הבלוג Green Fluorescent Blog. הנה רשומה פרי עטו בנושא "ביקורת עמיתים".

* * *

ביקורת עמיתים (peer review) היא אחד מעמודי התווך של העולם המדעי. אבל לא רק המדענים עצמם סומכים ידיהם על ביקורת העמיתים, אלא גם הספקנים (ביניהם קהילת "חשיבה חדה" כמובן) מזכירים השכם וערב שעל הספקן להסתמך על מחקר שעבר ביקורת עמיתים ולהתעלם מכל מחקר שלא עבר ביקורת עמיתים. אכן, ביקורת עמיתים היא דרכו של העולם המדעי לבחון את איכות המחקר ולהציע פתרונות לשיפור, אם צריך.
השיטה, בגדול עובדת. אולם, למרות היתרונות של השיטה הנוכחית, יש לה גם חסרונות רבים.

איך זה התחיל?

עם התעוררות המדע המודרני וייסודן של "אגודות מלכותיות" (royal societies) אי-אז במאה ה-17, ביקורת העמיתים התבצעה במפגשים פרטיים (כלומר החוקר פונה לעזרה מעמיתיו), במפגשים מדעיים, או לאחר פרסום המחקר (post-publication peer-review). כלומר, מי שהחליט אם מחקר מדעי הוא בר פרסום הוא עורך כתב העת (או הספר) בחסות החברה. ביקורת עמיתים טרום-פרסום (pre-publication) הוכנסה לשימוש לראשונה בשנת 1731, ע"י האגודה המלכותית של אדינבורו, אשר פרסמה קובץ מאמרים רפואיים. בשנת 1752, האגודה המלכותית של לונדון, אשר הוציאה לאור את כתב העת Philosophical Transactions, והשתמשה בביקורת עמיתים באופן לא רשמי מאז נוסדה בשנת 1665, יישמה לראשונה את השיטה באופן רשמי: מאמרים שהגיעו לעורך נשלחו לקבוצה מצומצמת של חברי האגודה, בעלי ידע בנושא המאמר, לצורך הערכה.

במאה ה-19 העיתונים המדעיים כמהו למאמרים והעורכים היו פונים לחוקרים בבקשה לפרסם את מחקריהם. ביקורת עמיתים הייתה נתונה לשיקול דעתו של העורך. המצאת נייר ההעתקה (carbon copy) בסוף המאה ה-19 הקלה על הפקת עותקים והפצתם לקבוצה מצומצמת של חברי אגודה. אולם, רק לעיתים נדירות המאמר נשלח לחוקר חיצוני. המצב הזה נמשך עד למחצית המאה העשרים.

ביקורת עמיתים טרום-פרסום ע"י מומחים חיצוניים לא נכנסה לשימוש בעולם המדעי באופן מסודר. למשל, The British Medical Journal שלח כל מאמר לביקורת עמיתים חיצונית כבר משנת 1893. לעומתו, כתב העת הרפואי JAMA הכניס ביקורת עמיתים לשימוש רק בשנת 1962, ו- The Lancet הכניס את ביקורת העמיתים לשימוש רק בשנת 1976. מאמרים כמו מאמרו של איינשטיין מ-1905 על תורת היחסות או מאמרם של ווטסון וקריק משנת 1953 על מבנה ה-DNA כלל לא עברו ביקורת עמיתים טרם פרסומם. לעומת זאת, מאמר של איינשטיין מ-1936 נדחה לאחר ביקורת עמיתים.

הפיתוח הטכנולוגי שעזר להכניס את ביקורת העמיתים לשימוש קבוע הוא מכונת הצילום, שנכנסה לשימוש מסחרי בשנת 1959. כיום, ביקורת עמיתים טרום-פרסום משמשת בכל כתבי העת המדעיים והיא נחשבת ל"חותמת כשרות" על המאמר המדעי.

איך זה עובד?

אחד העקרונות החשובים שמנחים את המחקר המדעי הוא שאת המחקר ותוצאותיו יש להציג לקהל הרחב בכלל, ולקהילה המדעית בפרט. קיימים שני ערוצים עיקריים שבהם החוקר מציג את עבודתו בפני הקהילה המדעית: כנסים מדעיים ופרסום מאמרים בעיתונים מדעיים. בשני המקרים, החוקר חושף את השערת המחקר, שיטות המחקר ותוצאותיו. ובשני המקרים, חוקרים אחרים יכולים להעיר הערות, חיוביות או שליליות. זו תמצית ביקורת העמיתים.

העבודה המוצגת בכנסים היא, במקרים רבים, חלקית. זאת מכיוון שהזמן שמוקצב להרצאה הוא קצר (בין 5 ל-45 דקות, תלוי בסוג הכינוס) ואינו מאפשר להציג את כל פרטי המחקר, אלא רק את התוצאות העיקריות. כנסים הם גם הזדמנות מצוינת לסטודנטים להציג את עבודתם, בצורה של פוסטר. גם במקרה זה, הפוסטר מציג תמצית של המחקר, שנמצא במקרים רבים עדיין בהתהוות.

חשוב לציין שכל ביקורת (חיובית או שלילית) בכנסים מדעיים אינה מחייבת את החוקר לשום שינוי, ובאופן רשמי אין לה השפעה על קבלת המחקר לפרסום בכתב עת מדעי. מצד שני, כל עוד מחקר לא פורסם בכתב עת מדעי, הוא נלקח בערבון מוגבל. באופן כללי, רק מחקרים שעברו ביקורת עמיתים ופורסמו בכתבי עת מדעיים נשקלים בעת צירוף חוקרים לסגל אוניברסיטאי, ובעת הענקת קביעות או מענקי מחקר. נחזור לכך בהמשך.

מחקר "גמור" מוצג לקהילה המדעית כמאמר בעיתון מדעי. אלו השלבים שצריך לעבור עד לפרסום המאמר:

1. כתיבת מאמר: כל חוקר מחליט בעצמו מתי נאספו מספיק תוצאות, ואילו תוצאות להציג. יחד עם התוצאות, המאמר כולל רקע והשערות, שיטות העבודה, מראי מקום ("ציטוטים") של מחקרים אחרים, דיון וסיכום.
2. הגשת המאמר: החוקר מגיש את המאמר לעיתון מדעי לבחירתו – לפי תחום המחקר וחשיבותו (לדעת החוקר). אסור להגיש לכמה עיתונים מדעיים במקביל. בעת הגשת המאמר, החוקר צריך לפרט את שמות כל השותפים למחקר (סטודנטים, חוקרים ממעבדות אחרות) ואת השתייכותם המוסדית (אוניברסיטה, מכון מחקר, חברה מסחרית וכולי). החוקר צריך להצהיר על ניגודי אינטרסים, מקורות מימון וכדומה. נוסף לכך הוא יכול להמליץ על מספר עמיתים אליהם המאמר יישלח לביקורת (או לבקש שהמאמר לא יישלח לחוקר מסוים – למשל בשל חשש לניגוד אינטרסים מול אותו חוקר).
3. העורך המדעי של כתב העת הוא הראשון שרואה את המאמר. הוא מחליט האם המאמר מתאים לכתב העת, האם הוא יעניין את הקוראים והאם הוא ברמה מדעית גבוהה מספיק לפרסום.
4. אם המאמר לא נדחה בשלב הקודם, הוא נשלח לביקורת עמיתים. לרוב, המאמר נשלח לשניים-שלושה חוקרים שאמורים להיות מומחים בתחום (העורך אינו חייב לבחור מתוך רשימת ההמלצות שמגיש המאמר צירף). בנקודה זו חשוב להדגיש מספר דברים:
   • חוקר שקיבל פניה מהעורך בבקשה לשפוט את המאמר לא חייב להסכים. במקרה זה, העורך יחפש חוקר אחר.
   • השופטים אינם מקבלים (לרוב) תמורה כספית או טובות הנאה אחרות על הביקורת.
   • אנונימיות השופטים נשמרת, כלומר כותב המאמר אינו יודע מיהם השופטים (אלא אם כן השופט עצמו מוותר על האנונימיות וחותם את שמו).
5. לשופטים ניתנת לרוב תקופה של 2-4 שבועות להחזיר תשובה לעורך.

השופטים אמורים לבחון את המאמר מהיבטים רבים, שלחלקם נתייחס בהמשך:

• טיב המחקר: האם השתמשו בשיטות מחקר מתאימות, האם בוצעו מספיק ניסויי ביקורת? האם הניסויים מתאימים לשאלת המחקר?
• משמעות המחקר: האם התוצאות פורשו נכון? האם יש דרך אחרת לפרש אותן? האם התוצאות המוצגות משכנעות מספיק?
• היקף המחקר: האם יש צורך בניסויים נוספים (ביקורות, הבהרה של תוצאות דו-משמעיות, מכלול התוצאות לא מספיק להחזיק את התיאוריה המוצגת).
• טיב המאמר: האם התוצאות מוצגות בגרפיקה מתאימה? האם הכתוב אכן תואם למה שמוצג בצורה גרפית? האם המאמר כתוב באופן ברור ומובן לקורא (מבחינה מדעית ותחבירית)?
• המאמר בתוך תחום המחקר: האם המחקר חדשני מספיק? האם החוקר התייחס למחקרים קודמים שאותם המחקר שלו מאשר/שולל? האם הציטוטים המובאים במאמר אכן מתאימים מבחינת הקשרם למחקר או לטקסט? האם החוקר התייחס להשלכות של התיאוריה שלו על תחום המחקר?
• השורה התחתונה: האם המאמר מתאים וטוב מספיק בשביל כתב העת אליו הוא הוגש?

בנקודה זו ארצה להתייחס בקצרה לנושא אמינות המחקר, כלומר, האם יש חשד לזיוף תוצאות, שכן אנו נחזור לנושא זה בהמשך. השופטים בביקורת עמיתים לא אמורים לזהות זיופים כחלק מתהליך השיפוט. בפועל, זיופים רבים מתגלים רק לאחר שמעבדות אחרות לא מצליחות לשחזר את תוצאות הניסויים המתוארים במאמרים אלה.

6. לפי תשובת השופטים, העורך מחליט על הצעד הבא:
   • אם תגובת השופטים הייתה שלילית (כולם או רובם), אזי סביר שהעורך ידחה את המאמר.
   • אם לשופטים אין מילה רעה לומר, כמובן שהמאמר יתקבל. מקרים אלו נדירים עד מאוד.
   • לרוב, תשובתם של השופטים היא חיובית, בתנאי שהחוקר יבצע שינויים, שנוגעים לאחד או יותר מהסעיפים שהוזכרו למעלה. שינויים אלה יכולים לכלול דרישה לניסויים נוספים, שינויים בטקסט ו/או בדרך הצגת התוצאות.

במקרה השלישי, העורך יכול להחליט על הקצבת זמן לחוקר לצורך ביצוע השינויים (בין חודש לחצי שנה – תלוי בהיקף העבודה), או על דחיית המאמר, אם היקף השינויים הנדרשים גדול מדי לטעמו.

במידה והתמזל מזלו של החוקר ומאמרו התקבל "על תנאי", עליו לשלוח מחדש את המאמר עם כל השינויים, התוספות והתיקונים, בליווי מכתב לשופטים המפרט אחד לאחד מה היו הדרישות, מה נעשה ומה התוצאה. חשוב לציין שבניגוד לשלב השיפוט הראשון, בשלב זה השופטים רואים גם את הביקורת של עמיתיהם.

זהו שלב ההכרעה – האם כל (או לפחות רוב) דרישותיהם של השופטים קוימו? האם השינויים שיפרו את המאמר בכל אחד מהפרמטרים שצוינו למעלה?

בשלב זה, מדובר על תשובת כן/לא בלבד. במידה ואין תמימות דעים בין השופטים, העורך מכריע – לפי העניין של כתב העת במאמר. במקרים נדירים, המאמר נשלח לשופט נוסף שלא ראה את המאמר המקורי, או שהעורך מאפשר סבב שני של תיקונים מדעיים (כלומר ביצוע ניסויים נוספים) לפני ההכרעה.

המאמר התקבל? מזל טוב! עתה יש צורך להתאים את המאמר לדרישות הטכניות של כתב העת (אורך, עיצוב הטקסט, התאמת התמונות והגרפים לרזולוציה וצבע מומלצים ועוד). נוסף על כך, החוקר משלם לכתב העת על מנת לפרסם את המאמר. מדובר על תשלום שיכול לנוע בין כמה מאות לכמה אלפי דולרים, תלוי בכתב העת ובפרטים אחרים (למשל, תשלום תוספת על תמונות בצבע). ניגע גם בנקודה זו בהמשך.

תהליך ביקורת העמיתים עד לפרסום המאמר אורך, בממוצע, כתשעה חודשים, אבל משך הזמן יכול להתארך גם לשנה וחצי או אפילו יותר (וכאן, לצערי, אני מדבר מניסיוני האישי). כמובן שכל דחיה של המאמר מצריכה התחלת התהליך מחדש בכתב עת אחר (שוב, מניסיון אישי). אין זה נדיר שמאמר מתפרסם אחרי שהסטודנט שהוביל את המחקר כבר עזב את המעבדה לתפקיד הבא (וגם את זה חוויתי).

יתרונות השיטה

יתרונות השיטה ברורים. כל מחקר מדעי עובר סינון לפחות פעמיים: פעם אחת על-ידי העורך המדעי של כתב העת – לרוב מדובר על בעל תואר דוקטור באחד התחומים הרלוונטיים לכתב העת, או בחוקר פעיל באוניברסיטה שמתפקד גם כעורך – ופעם נוספת על ידי 2-3 מומחים חיצוניים. הסינון ע"י השופטים בשלב השני חוסך לעורכים עבודה על מאמרים לא ראויים, ועל כן, התהליך חיוני לכתב עת מודפס שמספר דפיו מוגבל. למשל, לכתב העת Nature, אשר נחשב לאחד מכתבי העת המדעיים המובילים בעולם, מתקבלים פחות מ-8% מהמאמרים המוגשים לפרסום (נכון ל-2013). לעומת זאת, כתב העת האינטרנטי (והפחות נחשב) PLoS Genetics מפרסם כ-30-40% מהמאמרים המוגשים (נכון לשנת 2008). כתב העת PLoS ONE, שמפרסם מאמרים רק על סמך מחקר עם תוצאות ומסקנות מבוססות, ללא קשר לחדשנות, מפרסם כ-69% מהמאמרים המוגשים (נכון ל-2013).

יתרון נוסף של תהליך ביקורת העמיתים הוא שהערות השופטים מביאות לשיפור של המחקר כפי שהוא מוצג במאמר, בחלק או כל הפרמטרים שנזכרו למעלה. על כך אני יכול להעיד מניסיוני האישי, ומחקר מ-1994 תומך בכך.

השופטים, כאמור, אינם מקבלים כל תמורה עבור עבודת השיפוט ולכן אין להם כביכול אינטרס כלכלי – לטובה או לשלילה. למעשה, בעיני רבים, עבודת השיפוט יכולה להתפרש כשליחות למען טובת הכלל או טובת המדע. ההטבות שבכל זאת ממריצות חוקרים לתרום מזמנם לטובת ביקורת עמיתים הן הכרה במעמדם כמומחים בתחום (בעיקר ע"י עורכים של כתבי העת) והיכולת להתוות את המחקר בתחום מומחיותם לכיוון הנראה להם. כמו כן, בחלק מהמוסדות האקדמיים, פעילות זו היא חלק מהגדרת התפקיד, ולכן חלק מהמשכורת מותנה בהקדשת זמן לביקורת עמיתים.

אולם תהליך ביקורת העמיתים כפי שהוא מתבצע היום אינו חף מבעיות, חלקן חמורות ביותר.

חסרונות, בעיות ושערוריות

שיטת ביקורת העמיתים הנוכחית אינה חפה מבעיות. מחלקן פשוט התעלמו במשך זמן רב, בעוד שחלק אחר התעורר רק לאחרונה, כך שקולות לשינוי השיטה הקיימת החלו להישמע רק בעשור האחרון, לערך. עם גידול השימוש באינטרנט וברשתות חברתיות בכלל (כולל בלוגים מדעיים) גדל הנפח של ביקורת עמיתים לאחר הפרסום, דבר שגרם להטלת ספק ביעילות השיטה הנוכחית. אבל הביקורת על השיטה עוסקת לא רק ביעילותה ככלי לשיפור המחקר המדעי, אלא גם בהשפעתה על הקריירה של המדענים.

הבעיות החלו לצוף עם העלייה המתמדת במספר כתבי העת המדעיים (המספר האחרון שמצאתי הוא 30,000, עם גידול של כ-3.5% בשנה), ובייחוד כתבי העת האינטרנטיים שהינם Open Access) OA) – פתוחים לכל.

מדוע זו בעיה? ככל שיש יותר כתבי עת, ויותר מאמרים בכל כתב עת, כך עולה הצורך בשופטים. היות שביקורת עמיתים נעשית בהתנדבות, על חשבון זמנו של החוקר, הוא עלול למצוא את עצמו משקיע שעות שבועיות רבות מזמנו בביקורת עמיתים. מצב כזה מוביל לסירובים רבים יותר לשפוט מאמר, והעורך נאלץ לבזבז מזמנו על מציאת שופטים אחרים. אני מכיר מקרים בהם תהליך מציאת השופטים ארך מספר שבועות, כמו גם מקרה שבו מאמר "נפל בין הכיסאות" והתעכב מספר חודשים מכיוון שירד מסדר היום של העורך. משכבר נמצא חוקר שמוכן לשפוט מאמר, עורך כתב העת יעדיף לספוג עיכובים בהגשת עבודת השיפוט שלו לפני שיתייאש ויפנה לחפש שופט חלופי – דבר שגורם לדחיות נוספות בתהליך ביקורת העמיתים. כמו כן, ככל שיש יותר כתבי עת, שגם מתמחים בנישות קטנות יותר, כך העורכים שלהם ייטו לפסול מחקרים שאינם בדיוק בתחום התמחותם, אפילו אם המחקר עצמו הוא טוב, בין אם בשל חוסר היכרות של העורך עם נושא המאמר, ובין אם כתוצאה מ"חוסר התאמה" של הנושא לכתב העת.

חוקרים רבים אשר מסכימים לשפוט מאמר, עושים עבודה שטחית, או לחילופין לא עושים זאת בעצמם, אלא מעבירים את העבודה לאחד מהסטודנטים שלהם (מדובר בייחוד בפרופסורים ותיקים). מצד אחד, אפשר לראות בכך יתרון, שכן הדבר מקנה לסטודנטים אפשרות לתרגול חשיבה ביקורתית. מצד שני (ושוב, מניסיוני האישי) לא תמיד הסטודנטים מקבלים הנחייה נאותה כיצד לשפוט מאמר. בנוסף, סטודנט שרוצה "למצוא חן" בעיני המנחה, ינסה למצוא כמה שיותר בעיות במאמר, ירד לפרטים מאוד קטנים ויציע ניסויים מורכבים לשיפור המאמר, תוך איבוד פרופורציות וראיה רחבה יותר של הדברים. לא כל המנחים אכן בודקים שהביקורת שמתחו הסטודנטים תקפה או בת-ביצוע. ולבסוף, תתכן בכך הפרה של הנחיות כתב העת, שכן כתב היד המוגש לשיפוט אמור להיות חסוי (הנה דיון לדוגמה בנושא).

יתר על כן, לא קיים סטנדרט קבוע לביקורת עמיתים. כל שופט מחליט בעצמו על מה לשים דגש, עד כמה לפרט ועד כמה להתחשב ביכולות הטכניות/כלכליות של המעבדה ובזמן שיידרש לתיקונים. אחת הטענות כנגד נוהל הצעת ניסויים נוספים על ידי השופטים היא שבמקרים רבים החוקרים "מאלצים את התוצאות", במודע או שלא במודע, כך שיתאימו לבקשות השופטים. כמו כן, אין סטנדרט קבוע לקביעה האם השינויים שהחוקר ביצע מספקים את דרישות השופטים. בנוסף, הערות השופטים אינן מתואמות ביניהן, ויתכנו מקרים של חוסר עקביות בין שופטים שונים, עד כדי דרישות הפוכות.

העובדה שביקורת העמיתים היא אנונימית (כלומר החוקר אינו יודע את זהות השופטים) מקנה לשופטים חופש לכתוב בצורה גסה, מעליבה ופוגענית, לעיתים ללא כל צנזורה מהעורך (הנה דוגמה שרצה באינטרנט לאחרונה). מחקר בנושא מצא שכאשר שופטים חותמים את שמם על הביקורת הם כותבים בצורה מנומסת יותר, הביקורת מושקעת יותר ואף כתובה כביקורת בונה יותר מאשר ביקורות אנונימיות. עם זאת, חלק מהשופטים (בייחוד חוקרים בתחילת דרכם) עלולים לחשוש מלחתום את שמם על ביקורת שלילית, מחשש שכותבי המאמר ינקמו בהם בעתיד.

התהליך סובל מחוסר שקיפות – הקורא מקבל למעשה אך ורק את המוצר הסופי. הוא אינו מודע לשינויים שנערכו במאמר בין גרסתו הראשונית לבין זו שפורסמה. האם חלקים מסוימים נחתכו? מה תרומתם של השופטים לגרסה הסופית?

בתהליך קבלת המאמר לפרסום עולה השאלה האם, אם להשתמש בהשאלה, המחקר הוא "סקסי". ככל שהמחקר יותר חדשני ופורץ דרך או שנוי במחלוקת, כך הוא יעניין יותר את עורכי כתב העת. הדבר נכון בייחוד לכתבי עת שגובים דמי מנוי, שכן זו דרכם למשוך מנויים (כמו גם פרסומות של חברות המספקות שירות או ציוד מדעי). הדרך העיקרית שבה נמדדת מצוינות של כתב עת היא מדד שנקרא IF) Impact Factor). מדד זה מבוסס על חישוב של עד כמה המאמרים בכתב עת מסוים מצוטטים ע"י מאמרים אחרים. זהו מדד אובייקטיבי (אך לא בלתי ניתן להטיה) ועל כן הוא הפך בעשורים האחרונים לאחד המדדים העיקריים שקובעים מיהו כתב העת המוביל בכל תחום. אך זהו אינו המדד היחיד. Google Scholar מאפשר לחוקרים מעקב קבוע אחר כמות הציטוטים להם זכה כל מאמר, כמו גם חישובי מדדים שונים כגון i10 (כמה מאמרים זכו לפחות ל-10 ציטוטים) או h-index (המספר h מציין כמות המאמרים h שזכו ל-h ציטוטים). בשנים האחרונות החלו להסתכל גם על מדדים אחרים כגון altmetrics שמחשב ציון לכל מאמר לפי מספר אזכורים באתרי חדשות, בלוגים מדעיים ורשתות חברתיות.

מן הצד השני של ה"סקסי" מצויים השופטים השמרנים, שיידחו מאמר חדשני ופורץ דרך כי הוא סוטה יותר מדי מן התיאוריות המקובלות, וסיפורים כאלה לא חסרים במדע (למשל סיפורו של זוכה פרס נובל דן שכטמן).

הלחצים הרבים שפועלים לפרסום מאמרים ו"חגיגת" מדדי ההצלחה השונים הובילו למצב בעייתי באקדמיה של היום שמכונה publish or perish (פרסם או העלם).

מדוע זו בעיה? כמות המאמרים המפורסמים, כמו גם האימפקט פקטור של כתב העת שבו התפרסמו, הפכו לכלים העיקריים להערכת הצלחתו של חוקר, והם משמשים פעמים רבות כמנגנון סינון ראשוני עוד לפני שבכלל דנים במהות ואיכות המחקר. למצב זה יש השלכות ישירות על הקריירה של החוקרים:

• התקדמות בדרגות אקדמיות שונות (קבלה ללימודי דוקטורט וקבלת תואר דוקטור, קבלה להתמחות פוסט-דוקטורט, קבלה כמרצה/חוקר באוניברסיטה, קבלת קביעות ולבסוף קבלת תואר פרופסור).
• קבלת מלגות סטודנטים.
• קבלת מענקי מחקר.
• הערכת הביצוע של מחלקות ופקולטות, ואף העברת תקציבים ממשלתיים לאוניברסיטה (כך, לפחות, זה בארץ).

וזה מחזיר אותנו לתהליך ביקורת העמיתים כפי שהוא כיום: משך הזמן הארוך שחולף מהגשת המאמר ועד לפרסומו גורם לתסכול רב, הן לסטודנטים והן לראש המעבדה שהמימון והקריירות שלהם תלויים בפרסום המאמרים. התלות של החוקרים בפרסום המאמרים, ובמדדי ההצלחה של אותם מאמרים, היא בוודאי אחת הסיבות העיקריות לכך שחוקרים ימהרו לנסות לפרסם מחקרים גם אם הם לוקים בחסר, עד כדי זיופים של ממש. מהצד השני, עורכים ושופטים עלולים "לעגל פינות" ולקבל מהר לפרסום מחקרים בעיקר בזכות היותם סקסיים (הנה דוגמה למאמר בכתב עת מאוד מכובד שפורסם תוך 3 ימים, ודיון בנושא).

שתי דוגמאות בולטות מהעת האחרונה הן מאמר בכתב העת Science שתיאר חיידקים שמשתמשים בארסן במקום בזרחן במבנה ה-DNA שלהם (פריצת דרך באסטרוביולוגיה! או שלא…) ושני מאמרים בכתב העת (Nature (1, 2שתיארו כביכול שיטה פשוטה להשראת יצירה של תאי גזע (מהפיכה בשימוש בתאי גזע!). מקרה זה האחרון הסתיים בהתאבדות של אחד החוקרים, בפתיחת חקירה לגבי 20,000 מאמרים שמקורם במכון המחקר, ובאיום לסגור את מכון המחקר. אמנם, בשני המקרים רק ניסיונות כושלים לחזור על תוצאות הניסויים (1, 2) סתמו את הגולל על אותם מאמרים, אבל מקרים אלה הדגימו כיצד ביקורת עמיתים לאחר הפרסום זיהתה חשדות לשגיאות ואף זיופים, ולפיכך עוררה דיונים מחודשים באיכות התהליך הקיים.

סרטון יוטיוב על מקרה תאי הגזע:

הבלוג retraction watch מרכז מידע על מאמרים ש"נמשכו" חזרה (כלומר כאלה שפורסמו ולאחר מכן פרסומם בוטל). מדובר אמנם רק בעשרות מקרים בחודש (שמדווחים בבלוג) מתוך אלפים שמתפרסמים, אך מהמקרים האלו ניתן ללמוד על כשלים בתהליך. בין הבעיות העיקריות שמביאות למשיכת מאמרים ניתן למנות: טעויות שלא ניתן לתקן (למשל כי החוקרים לא הצליחו למצוא את תוצאות הניסויים המקוריות), זיופי תוצאות, פלגיאריזם, שימוש בשמות חוקרים או שמות מוסדות מחקר מזויפים, הוספת שמות חוקרים למאמר אף על פי שלא הייתה להם נגיעה למחקר או השמטת שמות של שותפים למחקר, שקר בהצהרות על ניגוד אינטרסים. הבעיות הפחות חמורות כוללות: עבודה שלא לפי פרוטוקול נכון מבחינה אתית במחקר עם בני אדם או בעלי חיים ופגיעה בחלק מן הדרישות של מענקי מחקר כאלה ואחרים. רובן המוחלט של הבעיות הללו אמורות להתגלות ע"י העורך עוד לפני שליחת המאמר לשופטים. הבלוג אינו מרכז מידע על תיקוני מאמרים (Correction או Errata) שמתפרסמים מעת לעת, רובם בשל טעויות טכניות (למשל שיבוש בהכנת התמונה לפרסום).

בעיית הזיופים אינה רק עניין של פגיעה בהתקדמות המדע והטעיית ציבור המדענים. מדובר גם בכסף – הרי אותם מדענים זכו במלגות או מענקי מחקר, לעיתים מענקים נדיבים עד מאוד. בארה"ב הוקם גוף בשם The Office of Research Integrity – ORI – שבוחן מקרי זיוף ובסמכותו למנוע מימון ממשלתי מאותם מדענים או גופים שנמצאו אשמים בזיוף. אמנם, מחקר שנערך לאחרונה מצא שהעלות הישירה של מענקי NIH שניתנו לזייפנים היא פחות מ-1% מכלל תקציב ה-NIH. אף על פי כן, קשה להעריך את הנזק הכלכלי העקיף שנגרם כתוצאה ממאמרים שזויפו.

ג'ון בוהנון, עיתונאי של מגזין Science, החליט בשנת 2013 לבצע תחקיר עיתונאי ע"י ניסוי "עוקץ" שנועד לבחון את תהליך הסינון של כ-300 כתבי עת מסוג OA) Open Access). הוא המציא מאמר מדעי בדוי לחלוטין שדיווח על חומר המופק מחזזית ואשר התגלה כבעל תכונות אנטי-סרטניות. המאמר הכיל כמה וכמה בעיות וטעויות שחוקר מנוסה צריך לזהות מיד ושאמורות להביא לדחייה מידית של המאמר. המאמר הבדוי (תחת שם חוקר בדוי ומוסד אקדמי בדוי) נשלח לאותם 300 כתבי עת שהם OA. התוצאות היו מדאיגות במיוחד. 157 כתבי עת קיבלו את המאמר לפרסום, לעומת 98 בלבד שדחו אותו (שאר 45 השתהו בתגובתם או לא ענו כלל). רק 60% מכתבי העת שלחו את המאמר לביקורת עמיתים (זה טוב עבור כתבי העת שדחו את המאמר – אומר טובות על העורך). במקרים בהם נערכה ביקורת עמיתים, רוב הביקורת הייתה שטחית והתייחסה לסגנון וניסוח (המאמר היה כתוב רע בכוונה). רק ב-36 מקרים (מתוך כלל 255 שזכו לתשובה) השופטים מצאו בעיות מדעיות, אך ב-16 מקרים מתוכם העורך קיבל את המאמר בכל זאת. במקרים רבים, העורך ו/או חשבון הבנק של כתב העת היו במדינות עולם שלישי (שליש מהם בהודו), למרות ששם כתב העת התהדר בכותרת “The American journal of…”.
חשוב עם זאת לציין שבוהנון לא סינן את הרשימה כדי להוציא מראש את אותם "כתבי עת טורפים" (predatory journals) שידוע שלא עורכים ביקורת עמיתים. כמו כן, התחקיר עצמו מוטה רק כלפי כתבי עת ללא דמי מנוי (אולי בשל האינטרס הכלכלי של Science שכן גובה דמי מנוי). לכן, רצוי להתייחס לתוצאות התחקיר הזה בספקנות. יחד עם זאת, חשיבותו היא בהצפת הנושא של ביקורת העמיתים בפרסום המחקר, וקיומם של כתבי עת טורפים שלא כולם (ואני ביניהם) היו מודעים להם.

לסיום חלק זה נזכיר בעיה קשורה והיא אי-פרסום של תוצאות שליליות. ניסויים שנכשלו (כלומר לא נמצאה השפעה של הגורם הנחקר לעומת הביקורת) מושלכים פעמים רבות לפח, מכיוון שלדעת העורכים ו/או השופטים אין מספיק ערך חדשני בפרסומם. ברוב המקרים החוקרים עצמם לא טורחים אפילו לשלוח עבודות כאלה לפרסום. זהו מצב בעייתי ביותר, מכיוון שהוא עלול להביא למסקנות שגויות בתכלית בתחום הנחקר – חישבו למשל על תרופה בלתי יעילה שרק שני מחקרים שהצביעו על יעילותה התפרסמו, ואילו עשרים מחקרים שלא מצאו יעילות כלשהי נגנזו בתחילת דרכם. יש לציין שדווקא בתחום הביו-רפואה קיים כתב עת מיוחד לזה, אם כי סביר להניח שרוב החוקרים טרם שמעו עליו. בעייתי עוד יותר לנסות לפרסם תוצאות שליליות של ניסיון חזרה על ניסויים של קבוצת מחקר אחרת. לא ארחיב על זה מכיוון שזה כבר נושא לרשומה אחרת, אבל למתעניינים הנה רשומה בנושא.

רוחות של שינוי

כפי שהזכרתי למעלה, אחת הטענות הקשות כלפי תהליך פרסום המאמרים כיום הוא שברגע שמאמר התפרסם, הוא מוצג כמוצר מוגמר שאין לערוך בו שינויים. ביקורת עמיתים שלאחר הפרסום יכולה אמנם לגרור דיון, שלעיתים יסתיים בפרסום תיקון למאמר, אבל רק במקרה של זיופים או טעויות קריטיות מוכחות כתב העת ימשוך את המאמר חזרה (וגם זה לא תמיד, כמו במקרה של חיידקי הארסן). לפני עידן האינטרנט, ביקורת עמיתים פומבית לאחר הפרסום הייתה כמעט אך ורק דרך מכתבים לעורך. המקום המוגבל בכתב העת למכתבים מסוג זה, כמו גם סינון אפשרי של העורך אילו מכתבים לפרסם, הגבילו מאוד את היכולת להשמיע ביקורת על מאמרים שכבר פורסמו. כיום, ניתן למצוא אלפי בלוגים מדעיים שסוקרים, ממליצים ומעבירים ביקורת על מאמרים מדעיים (הנה דוגמא לאתר שמרכז בלוגים כאלה). פורומים ורשתות חברתיות מהווים כר פורה לדיונים (תיאור של דיון כזה ניתן למצוא ברשומה הזו).

יוזמה של הממסד המדעי שקמה בשנת 2002 ונקראה F1000 (קיצור של "פקולטה של 1000"), מהווה פלטפורמה יוקרתית להמלצה על מאמרים טובים. המודל הוא של חוקרים מומחים בתחומם, אשר ממליצים על מאמרים טובים לדעתם, מעין ביקורת עמיתים חיובית, אם תרצו (ושוב נביא את חיידקי הארסן כדוגמה הפוכה). המלצה של F1000 מהווה כיום תוספת נאה לקורות החיים של חוקרים.

ביולי 2012 הוקם בלוג אנונימי בעל השם הבעייתי Science Fraud שהתיימר לחשוף מקרים של "אי-סדרים" במאמרים מתחום מדעי החיים. חצי שנה לאחר הקמתו נחשף שמו של כותב הבלוג, חוקר באוניברסיטת רוצ'סטר. האתר הורד בעקבות איומים בתביעות דיבה שהבלוגר קיבל מצד חוקרים שאת מאמריהם ביקר. במשך ששת חודשי פעילותו דווח בבלוג על 274 מקרים של אי-תקינות. מתוכם, 47 הובילו להודעות תיקון ו-16 מאמרים נמשכו מפרסום. הנה כמה מסקנות אישיות למען ממשיכי דרכו.

ממשיכי דרכו של אותו בלוג הם Retraction Watch שכבר הוזכר למעלה, כמו גם האתר Pubpeer. האתר מהווה פלטפורמה לביקורת עמיתים לאחר פרסום. הדיונים הרבים מעלים תמונה עגומה של בעיות החל מהרמה המדעית הירודה של מאמרים ועד לזיופים של ממש. אתר זה למעשה חשף לראשונה את הבעיות שהובילו לסקנדל של מאמרי תאי הגזע ב-Nature. ייחודו של האתר בכך שהוא מאפשר ביקורת עמיתים אנונימית או גלויה ויש בקרה של עורכי האתר על אופי התגובות. חשוב ביותר, העורכים שולחים דואל לכותבי המאמרים עליהם מתנהל דיון, כדי שיוכלו לענות למבקרים. למרבה הצער, תגובות כאלו מתקבלות רק לעיתים נדירות; ברוב המקרים, הדיון הוא חד-צדדי בלבד.

האתר Pubchase, שמציע למשתמשיו לבנות ספריית מאמרים, מוסיף את ההערות מ-Pubpeer למאמרים בספרייה האישית. כך, המשתמשים יכולים לראות מיד אם המאמר שהם קוראים ספג ביקורת. עורכי Pubpeer אף כתבו תוסף לדפדפני אינטרנט שמוסיף קישור לביקורות מ-Pubpeer, כאשר מבקרים באתרים הרשמיים של כתבי העת.

הדיון הציבורי הנרחב בנוגע לתהליך ביקורת העמיתים כפי שהוא כיום, ותרבות ה publish or perish בכללה, הביאו למספר שינויים אצל כתבי העת ואתרים רשמיים אחרים. ברוב כתבי העת קיימת היום אפשרות לכתוב תגובות און-ליין למאמרים. אולם, כמו מכתבים למערכת, גם תגובות אלו עוברות לעיתים סינון ע"י העורך ( בכתב העת Cell, למשל, תגובות עשויות לחכות שבועיים לאישור עד לפרסומן). לאור זאת, דיונים מסוג זה אינם נפוצים במיוחד. גם האתר PubMed (ספרייה און-ליין של ה-NIH לכלל הפרסומים במדעי ביו-רפואה) הקים ממש לאחרונה מערכת תגובות (Pubmed Commons). מעניין לציין שבניגוד לPubpeer שבו המשתמשים שמים דגש על איתור בעיות וזיופים, הדיונים בPubmed הם בעלי אופי חיובי יותר ומטרתם בעיקר לעורר דיון מדעי מפרה.

ההצלחה של pubpeer ודומיו הביאה לקריאות לחזור לביקורת עמיתים לאחר הפרסום, שנדמה שהיא יעילה ומתאימה במיוחד לעידן האינטרנט (אם כי לא בלי חשש). המודל המוצע הוא מודל שפועל מזה זמן רב בתחום המדעים המדויקים, והוא המודל של arXiv. arXiv, שקיים כבר משנת 1991, הינו שרת של אוניברסיטת קורנל, שמאפשר לחוקרים לפרסם מאמרים און ליין. זהו שירות OA, כלומר כולם יכולים לקרוא את המאמרים, ללא דמי מנוי. הייחוד שלו היא באפשרות של החוקרים לעדכן את המאמר ולערוך תיקונים ושינויים לאחר פרסומו. אך חשוב מכך, השרת שומר גם את הגרסאות הקודמות, כך שניתן לעקוב ולראות אילו שינויים נערכו במאמר. לאור הצלחתו של arXiv (שבדיוק עבר את רף מיליון המאמרים בתחילת שנת 2015), מעבדות קולד-ספרינג הרבור הקימו בשנת 2013 שרת משלהם, bioRxiv, שמיועד לביולוגים בלבד. כרגע השרת מכיל רק כמה מאות מאמרים והעניין, בינתיים, לא תופס תאוצה. בשני מקרים אלה, אין ביקורת עמיתים רשמית, ואף אין חובה לחוקרים לערוך שינויים במאמר. אחת הסיבות שחוקרים חוששים מפרסום על שרתים כאלה היא האפשרות של דחיה מכתב עת בשל "פרסום קודם", אך זה לא בהכרח נכון, שכן כתבי עת רבים מאפשרים פרסום קודם של טיוטות המאמר על שרתים ייעודיים כמו arXiv.

מעניין לציין שהוקם גם כתב עת שמבוסס על אותו רעיון, אלא שבצורה יותר רשמית. כתב העת, F1000research, מציע לכותבים תהליך ביקורת עמיתים מומחים, לאחר הפרסום. על החוקר להציע מספר מומחים שישפטו את המאמר. המאמר מועלה לאתר לאחר בדיקה קצרה (ימים אחדים) שמוודאת כי הוא עומד בסטנדרטים של פרסום. הביקורת מתבצעת רק לאחר הפרסום, ולאחריה – על החוקר להגיש מאמר מתוקן. גם כאן, כל הגרסאות נשמרות באתר, כמו גם הערות השופטים ותגובותיו של כותב המאמר.

כתב עת חדש שהוקם, PeerJ, מציע גם הוא שרת בדומה ל-bioXriv, בנוסף לפרסום מאמרים לאחר ביקורת עמיתים רגילה. בנוסף, PeerJ מנסה לצמצם את העלויות לחוקרים, בכך שהוא לא גובה תשלום על פרסום מאמר, אלא החוקר משלם תשלום נמוך וחד פעמי (100-300$) שמאפשר לו לפרסם בחינם בכתב העת עד סוף חייו. כתב העת נותן אפשרות לחוקרים לפרסם, לצד המאמר, גם את תהליך ביקורת העמיתים שעבר.

כתב העת החדש eLife הוקם, כפי שכתב העורך הראשי, זוכה פרס נובל רנדי שקמן, במטרה להוות אלטרנטיבה ל"שלושת הגדולים" (Nature, Science & Cell), שנמצאים בראש פירמידת ה-IF, כאשר הדגש המוצהר ב-eLife הוא לא על ה-IF אלא אך ורק על טיב המדע וטובת המדען. בין ה"הטבות" לכותבים ניתן למנות: קיצור משמעותי בתהליך הסינון וביקורת העמיתים (3 ימים לקבלת החלטת עורך ראשונית, חציון של 3 חודשים מרגע ההגשה ועד לקבלת המאמר), העובדה שכל העורכים הינם חוקרים פעילים שיכולים להעריך בעצמם את טיב המחקר, וקיום התייעצות בין השופטים השונים לבין עצמם ועם העורך לפני שליחת ההערות חזרה לחוקרים – זאת כדי למנוע מצב של חוסר עקביות או אפילו דרישות סותרות של השופטים. בנוסף, זהו כתב עת OA ויתרה מכך – כתב העת לא גובה תשלום מכותבי המאמר (לכתב העת ישנה תמיכה כלכלית רחבה של מכון המחקר הרפואי ע"ש הווארד יוז, מכון מקס פלאנק וה-Wellcome trust). לשם הפתיחות, eLife מפרסם גם את תגובות העורך והשופטים, ואת תשובת הכותבים. במקום קידום לפי IF, eLife מפרסם תקצירים לא-טכניים של המאמרים דרך טוויטר, בלוגים ועוד. הטבה נוספת שכתב העת מציע, במיוחד לחוקרים צעירים, היא קבלת מכתבי תמיכה מאת העורך שטיפל במאמר, לטובת קבלת מלגה, משרה, קביעות וכדומה. אין ספק ש- eLife מנסה לפתור בעיות רבות שהועלו בנוגע לכל תהליך הפרסום המדעי.

כתב העת הוותיק EMBO Journal החל לאחרונה לפרסם את התכתובת המלאה בין העורך, השופטים וכותבי המאמר, עבור כל המאמרים שהתקבלו. גם המו"ל Elsevier החל בתהליך דומה של פרסום הערות השופטים, אך כרגע רק עבור חמישה כתבי עת (מתוך 3103 כתבי עת שהמו"ל מפרסם).

כפתרון לבעיה אחרת של ביקורת עמיתים, כתב העת Nature וכתבי עת אחרים בקבוצה החלו להציע ביקורת עמיתים בסמיות כפולה – כלומר שהשופטים אינם יודעים מיהם כותבי המאמר.

גם הדרך שבה מנסחים את הביקורת על המאמר זוכה לאחרונה לתשומת לב, ואתרים ובלוגרים רבים מפרסמים הצעות כיצד לכתוב ביקורת עמיתים או לשפר את התהליך (למשל: 1, 2, 3, 4). מתקיימים אף קורסים בנושא (קובץ PDF עם אוסף קישורים; אציין גם שבמכון וייצמן מתקיים קורס שבחלקו עוסק בנושא).

סוגיית התשלום לשופטים מהווה גם היא כר פורה לדיונים ברשתות החברתיות כמו גם בכתבי העת עצמם (למשל כאן וכאן). עד כה, אף כתב עת לא הרים את הכפפה והציע תשלום כספי לשופטים, אך כן ניתן לראות ניצנים של מתן הטבות, ובעיקר הכרה בפעילות השיפוט. כך למשל, כתב העת Nature החל לאחרונה להציע מנוי חינם לשנה לכל מי שישפוט 3 מאמרים לפחות באותה שנה [אולם מכיוון שרוב החוקרים במוסדות אקדמיים משתמשים במנוי המוסדי, זו הצעה ריקה מתוכן]. בנוסף, ניתן להוריד מאתר כתב העת מכתב רשמי (שמיועד, למשל, למעסיקים) ובו הצהרה על פעילות השיפוט של אותו חוקר. המו"ל Elsevier מציע גם הוא מנוי חינם (לחודש), כמו גם "אות הצטיינות" אינטרנטי ואף תעודת "שופט מצטיין" רשמית לטובים ביותר. הכרה בפעילות השיפוט ניתן למצוא גם בכתבי עת אחרים, למשל RNA. אתר Publons מציע למשתמשיו להכין מסמך רשמי של כל פעילות השיפוט לצרכי בקשות מענקי מחקר, משרות וכדומה. לעומת כל אלה, יש גם הצעות מבזות.

רובריק היא חברה שמציעה שירותי ביקורת עמיתים בתשלום, ומתגמלת גם את השופטים עצמם על עבודתם (כולם בעלי תואר דוקטור לפחות, וחוקרים פעילים במכון מחקר או מוסד אקדמי), ב-100$ עבור כל מאמר. בנוסף, רובריק מפעילה סטנדרט אחיד לכלל הביקורות, עם דרישות להתייחסות לכלל הנושאים שהוזכרו למעלה בחלק על תהליך ביקורת העמיתים. כיום, רובריק היא הגוף היחיד שמשלם לשופטים שכר.

סיכום

ביקורת עמיתים טרום-פרסום הינה שיטה שהחלו להשתמש בה לפני מאות שנים, אך רק באמצע המאה הקודמת נכנסה לשימוש קבוע ורשמי. שיטה זו נחשבת לחותמת כשרות למאמרים מדעיים ובגדול, השיטה עובדת (הרי המדע בכל זאת מצליח להתקדם).

עם זאת, השיטה אינה חפה מבעיות.

אף כי נראה כאילו האקדמיה הינה גוף שמרני ונוקשה שאינו מוכן לשינוי, הדיון הנרחב שמתנהל בחוגים האקדמיים (בעיקר, אך לא רק, בקרב החוקרים הצעירים) וברשת האינטרנט בכלל לגבי הכשלים של שיטת ביקורת העמיתים הנוכחית, גרם לתזוזה במערכת:

• מהירות ושקיפות – נעשים ניסיונות לזירוז התהליך מחד ולהגדלת השקיפות מאידך.
• אמינות – גברה המודעות למה שמכונה "כתבי עת טורפים" שמוכנים לפרסם כל דבר תמורת כסף.
• גישה חופשית – מתוך הכרה בחשיבות של פרסום מאמרים ללא גביית דמי מנוי, החלו גם כתבי עת שגובים דמי מנוי לאפשר פרסום פתוח לחלק מהמאמרים (לעיתים, בגביית תשלום נוסף מהחוקר). נוסף על כך, הרשויות הממשלתיות האמריקאיות (כדוגמה NIH) מתנות את מתן מענקי המחקר במתן גישה חינם למאמר לכל היותר שנה לאחר פרסומו.
• ביקורת אפקטיבית יותר – גברה ההכרה בצורך ללמד איך להעביר ביקורת עמיתים אפקטיבית. אתרי ביקורת עמיתים עצמאיים דחפו גם את מערכות המו"לים ומערכות ממשלתיות לכיוון זה.
• תגמול לשופטים – גברה ההבנה שיש צורך במתן תמורה לעבודת השיפוט, גם תמורה כספית או שוות ערך לכסף אך גם תמורה של הכרה והוקרה.

ומה צופן לנו העתיד?

לדרך החקירה המדעית אין אפשרות אחרת אלא להשתפר. אין ספק שביקורת עמיתים לאחר פרסום תתפוס עוד ועוד תאוצה (כי היא בעיקרה מקוונת, ועל כן מידית מחד, ועם אפשרות לאנונימיות מאידך), מה שיוביל לתיקון או משיכה של מאמרים רבים שכוללים טעויות, זיופים, או סתם מדע רע, ובכך ישפר את כלל הפרסום המדעי. הדבר העיקרי שיאט התקדמות זו יהיה החשש מתביעות דיבה, או חשש מנקמנות מצד החוקרים המבוקרים.

הפרסום המדעי הולך יותר ויותר לכיוון של OA, וכתבי העת הוותיקים יאלצו להתאים את עצמם לכך. ישנם אף קולות שקוראים להוציא את פרסום המאמרים מכתבי העת הפרטיים ולהעבירו למו"ל שבידיים אקדמיות, ובכך לנסות ולצמצם את ההשפעה הכלכלית על תחום זה. בנוסף, ניתן לקוות שכתבי עת נוספים ילכו אחרי F1000research, EMBO ו- eLife ויגבירו את השקיפות של תהליך הסינון והתיקונים של המאמרים.

בשנת 2012 קמה תנועה של חוקרים ועורכים (DORA – San Francisco Declaration of Research Assessment) ששמה לה למטרה לשנות את הדרך שבה מוסדות אקדמיים וקרנות למענקי מחקר שופטים מצוינות אקדמית. דגש מיוחד בביקורת מופנה כלפי השימוש הבעייתי במדד האימפקט פקטור בכל הקשור להחלטות לגבי קריירה ומענקים. כיום חתומים על ההצהרה של התנועה מעל 12,000 חוקרים ומעל 500 מוסדות, ארגונים וכתבי עת. בינתיים, השינוי עדיין רחוק מיישום, אך מעודד לדעת שמוסדות וכתבי עת רבים לפחות מכירים בבעיה.

השינוי מתרחש לנגד עינינו, ובכל שנה תהליך ביקורת העמיתים משתפר מעט. נדמה אולי כי התהליך איטי, אך אני מאמין כי בתוך עשור או שניים כבר נשכח איך עשו את זה פעם…

* * *

רשומה זו של גל עברה גם היא ביקורת עמיתים. תודה לד"ר נעם לויתן על הזמן שהשקיע בכך.
הערות, תוספות ותיקונים יתקבלו בברכה בתהליך ביקורת העמיתים שאחרי פרסום, שיתקיים כאן בתגובות.

 

לקריאה נוספת:

• הבלוגים Information culture ו- The Spectroscope מכילים מספר רשומות על ביקורת עמיתים ועל מדדי הצלחה של מאמרים
• ההיסטוריה והאבולוציה של ביקורת עמיתים: 1, 2, 3
• עוד מאמרי דעה על ביקורת עמיתים: 1, 2, 3, 4, 5
• 3 מיתוסים על ביקורת עמיתים
• רשומה בבלוג של נעם לויתן על מחקר שלא עבר ביקורת עמיתים ראויה
• מחקר על התנהגות של שופטים ביחס לדדליין
• משבר אמון (מתוך הבלוג של Pubpeer שמכיל עוד חומרים מעניינים)
• "שופט מספר 3 מאשר חידוש החוזה עם השטן"
• שלוש דרכים לדווח על זיופים מדעיים
• הדילמה החדשה: ביקורת לאחר פרסום
• Openreview: עוד אתר לביקורת עמיתים לאחר פרסום, שמתמקד בשאלה האם ניתן לחזור על התוצאות.
• רשומה על איך עורכי כתב עת משתמשים בהגבלת מספר המאמרים המתקבלים כדרך להגדלת מדדי ההצלחה
• עוד בנושא מדדי הצלחה של מאמרים: 1, 2
• עוד בלוגר שעוסק בזיופים במדע
• גיליון מיוחד של Nature על חזרה על תוצאות במדע
• כמה דוגמאות נוספות על זיופים:
• זיוף תמונות במאמר הוביל לחקירה משטרתית
• רשת זיופים הביאה למשיכה של 60 מאמרים
• כתב עת סרבי מציע ביקורת עמיתים תוך 24 שעות תמורת 1785 יורו
• חוקר "איבד" שני מאמרים ב-Science ואחד ב-Nature
• ערוץ הטוויטר "במסדרונות Nature" (סתם בשביל הכיף)

התייחסות נוספת לתהליך ביקורת עמיתים, בהקשר הכללי יותר של תהליך "זיקוק הידע", תוכלו לקרוא ברשומה "המדענים השמרנים האלה לא מפסיקים לשנות את דעתם".

עסקנו בעבר לא מעט בטענות לקיומן של תופעות כאלה ואחרות, וניסינו לברר האם התופעות אכן קיימות במציאות או רק בראשו של המתבונן. גילינו שהאפשרות השניה מסתברת כנכונה לעיתים קרובות יותר מהמצופה.

הגיעה השעה להתקדם שלב. נניח שמוסכם כי התופעה אמיתית. כתמים מוזרים הופיעו בצילומים. צורות ענקיות הופיעו בשדות תבואה. אנשים שכמעט מתו ו"הוחזרו לחיים" תיארו חוויות מדהימות. כעת נשאלת השאלה – מהו ההסבר לתופעה.

לכל תופעה יכולים להיות הסברים רבים, שיתאימו לעובדות. להסביר משהו זה להציע השערה (היפותזה) שעוזרת להבין את התופעה.

ניקח כדוגמה את כתמי האור שמופיעים לעיתים בצילומים, ומכונים Orbs (לחצו על התמונה, תגלו שמדובר באובססייה של ממש):

השערה אחת יכולה להיות שמדובר בחרקים שהתעופפו סמוך לעדשת המצלמה בדיוק ברגע שהפלש הבזיק. השערה אחרת היא שמדובר בחלקיקי אבק או טיפות מים זעירות שהוארו באופן דומה ברגע הצילום. השערה נוספת היא שמדובר ברוחות רפאים שמתגלמות כנקודות אור בפני המצלמה, או אולי מדובר בישויות אור מעולמות אחרים, או בגשושים של ספינות חוצנים, וכו'.

השערות רבות ושונות יכולות לנסות ולהסביר את אותה התופעה. נניח שכל ההשערות מתאימות באותה המידה לעובדות שבידינו כרגע. איזו מהן עדיפה מבחינת המידה בה היא עשויה לתרום להרחבת הידע שלנו?

נבחן את הנושא ממספר היבטים, ונראה מהם המדדים המקובלים על פיהם מעדיפים השערה אחת על פני חברתה.

 הסתייגויות:

1. אלה אינם חוקים, אלא רק קוים מנחים כלליים.
2. קוים מנחים אלה לא משמשים כדי להבחין בין השערות נכונות לשגויות; רק העדויות הניסוייות תכרענה בעניין כזה.

ניתנת לבדיקה (ולהפרכה)

אם נמשיך את דוגמת כתמי האור, חייבת להיות דרך כלשהי בה נוכל לאשש או להפריך את ההשערה כי מדובר בישויות אינטליגנטיות לא מוכרות. מה שאפשר (וצריך) לבדוק, תלוי בטענות נוספות לגבי אותן ישויות. אם הן אמורות להופיע כשמזמנים אותן, אפשר להשוות את תדירות הופעתן עם זימון או בלעדיו. אם אמור להיות להם אור משל עצמן, ניתן לצלם בחושך מוחלט ולראות אם הן עדיין מופיעות בצילומים. אם הן אמורות להופיע בקבוצות במצבים מסוימים ובאופן בודד במצבים אחרים, ניתן ליצור מצבים כאלה באופן יזום ולראות אם אכן קיימת ההתאמה למצופה.

אם לעומת זאת התיאוריה אומרת שישויות אלה מאוד ביישניות וחמקניות, ומופיעות רק כשמתחשק להן, או שהן תבלבלנה תוצאות ניסוי מבוקר בכוונה תחילה כך שלא יתאפשר אף פעם לאשש את קיומן בצורה מובהקת – אזי לא ניתן לבדוק השערה זו בצורה מדעית.

השערה שלא ניתן לבדוק אותה אינה מעניינת את המדע, מכיוון שהיא לא יכולה להוסיף ידע.

פוריה – בעלת כושר ניבוי

תכונה אטרקטיבית נוספת להשערה היא פוריות. השערה שמסבירה אך ורק את הממצאים שבידינו אינה מעניינת, היא תפורה אד-הוק. כוחה האמיתי של השערה מתגלה אם היא מצליחה לחזות דברים שעדיין לא היו ידועים עד כה, ואולי אף מנוגדים לידע הקיים.

כך למשל, תיאוריית היחסות של איינשטיין חזתה כי אור יתעקם במעברו בקרבת מסה, היות והמרחב עצמו מתעקם בסביבת מסה. חיזוי זה היה מנוגד למה שחשבו המדענים עד אז – שהאור (שהינו חסר מסה) אינו מושפע מהחומר בסביבתו הוא נע, ולפיכך צפוי לנוע בחלל בקוים ישרים. חיזוי זה עמד למבחן ב- 1919 (ופעמים רבות לאחר מכן, במדידות מדויקות בהרבה): בזמן ליקוי חמה מלא – מצב בו הירח מסתיר את השמש ומחשיך את השמיים במידה שמאפשרת צפיה בכוכבים באמצע היום – כוכבים שנמצאו בסמיכות נראית לשמש נראו מוסטים מעט ביחס למקומם הרגיל בשמיים.

סידור היסודות הכימיים בטבלה המחזורית הותיר כמה "חורים", שאכן התמלאו ביסודות חדשים ולא מוכרים שהתגלו שנים לאחר מכן, ותכונותיהם התאימו במדויק למה שהיה צפוי.

חוקי סדר וסימטריה שנוסחו לגבי חלקיקים תת-אטומיים הותירו גם הם "מקומות פנויים" לחלקיקים נוספים, וגם הם התגלו בהמשך הדרך ו"השלימו את הפאזל". (ממש לאחרונה הצטרף חלקיק היגס לפאזל).

כאשר ההשערה משיגה את הממצאים, היא מרשימה הרבה יותר מאשר כאשר היא רק רודפת אחרי הממצאים ומסבירה אותם אד-הוק.

אם שתי השערות זהות בכל פרמטר אחר, הפוריה יותר, כלומר זו שחוזה בהצלחה יותר עובדות חדשות – היא המועדפת.

מקיפה

מגוון התופעות המוסברות והחזויות ע"י השערה מסוימת הוא מדד חשוב נוסף לגבי איכותה: ככל שהיא מסבירה וחוזה יותר, כך היא מאחדת ומארגנת את הידע שלנו טוב יותר, והסיכוי שהיא שגויה קטן יותר.

פעמים רבות לאורך ההיסטוריה של התפתחות המדע, השערות ותיאוריות חדשות לא סתרו את הקודמות (אחרי הכל, הקודמות התאימו יפה לתיאור התופעות שהיו ידועות עד אז), אלא הרחיבו את ההיקף שלהן לתחומים נוספים.

כך למשל תורת היחסות של אינשטין אינה סותרת את תורת ניוטון שהיתה מקובלת עד אז. לגבי תנאים יומיומיים כמו מהירויות שאינן קרובות למהירות האור, החיזויים שלה זהים לאלה שמניבה תורתו של ניוטון. הכוח שלה נובע מכך שע"י שימוש באותן נוסחאות, החיזויים שלה נכונים גם עבור מהירויות גבוהות בהרבה, תנאים בהם התיאוריה של ניוטון כושלת כישלון חרוץ לתאר את המציאות כפי שהיא נגלית לנו בניסויים.
גשרים, ורכבות לא התפרקו לפתע כשאיינשטיין פרסם את תורת היחסות. עד היום המהנדסים מסתפקים בחוקי ניוטון כשהם מתכננים גשר חדש. אך בתחומים אחרים שהפכו יומיומיים עבורנו, יש בהחלט צורך לקחת בחשבון את תורת היחסות. כך למשל, אם לא מביאים בחשבון את עיוותי הזמן שתורת היחסות מנבאת בתכנון מערכת ה-GPS, הדבר גורם להצטברות שגיאות הולכות וגדלות, עד כדי כך שלא ניתן להשתמש במערכת. זוהי הדגמה לכוחה של תיאוריה!
מעבר להרחבת התיאוריה של ניוטון (שהיתה בעלת היקף מדהים כשלעצמה) תורת היחסות מסבירה תופעות רבות נוספות שבלעדיה היו נותרות כתעלומות בלתי קשורות זו לזו (סטיות במסלול כוכב חמה ועדשות כבידתיות למשל).

אם שתי השערות זהות בכל פרמטר אחר, זו שמצליחה להסביר ולחזות מגוון גדול יותר של תופעות – היא המועדפת.

פשוטה

ככל שהשערה נזקקת לפחות מושגים חדשים ולפחות הנחות, אפשר לומר שהיא פשוטה יותר. ככל שהשערה פשוטה יותר, יש פחות דרכים בהן היא עלולה להיות שגויה, וסיכוי קטן יותר שהיא מתארת את המציאות בצורה אד-הוקית, כלומר, תפורה במדויק בהתאם לראיות המצויות בידינו כרגע.

אם נחזור לרגע לכתמי האור שלנו, השערת חלקיקי האבק/מים/חרקים פשוטה מאוד, מכיוון שאינה נדרשת להמציא מושגים חדשים. השערת הישויות התבוניות מעולמות/מימדים אחרים אינה פשוטה כלל, מכיוון שגם לפני שנפתח אותה לכדי הסבר מלא, כבר אנו נדרשים להמציא מושגים חדשים כגון "ישויות אור", וכדי להסביר באיזה מובן הן קיימות נצטרך להמציא מימדים חדשים, וכדי להסביר כיצד משהו מהמימד שלהם מצליח לעבור למימד הפיזי ניאלץ להציע תהליכים על-פיזיקליים ופיזיקליים מורכבים, וכו'. כל מושג כזה פורש רשת שלמה של שאלות נוספות. ללא ספק הסבר מורכב בהרבה יחסית ל-"אבק".

נשים לב כי השערות כאלה מגדילות את כמות הלא-ידוע ולא מקטינות אותו.

בהקשר הזה אי אפשר שלא להזכיר את התער של אוקהם, עיקרון מנחה שממליץ לא להרבות בהמצאת מושגים וישויות מעבר לנדרש כדי להסביר את התופעה המדוברת.

אם שתי השערות זהות בכל פרמטר אחר, הפשוטה יותר, כלומר זו שמניחה הכי מעט הנחות – היא המועדפת.

בקישור ניתן לקרוא גם על ההסתייגויות מעיקרון זה. אם נזכור שלא מדובר בחוק וגם לא בכלי שאמור להכריע בעניין תקפות של טענה, אלא רק באחד מבין כמה כללים מנחים להעדפת השערה בטרם נבדקה יותר לעומק, אני מאמין כי מרבית ההתנגדות תוסר.

הנה צילומים של Orbs שמקורם טבעי וידוע (לחצו על התמונה למעבר לאתר שמכיל מידע רב בנושא):

עד שלא יודגם אחרת, ההסבר הפשוט מסביר באותה מידה את הממצאים, ולכן יש להעדיף אותו, מהשיקולים שצוינו.

מסופר שלאחר שהמתמטיקאי והאסטרונום הצרפתי Laplace הציג את התיאוריה המדעית שלו בפני נפוליאון, שאל אותו נפוליאון – "איפה אלוהים משתלב בתיאוריה שלך?" תשובתו של לאפלאס היתה: "לא נזקקתי להשערה הזו".

עקבית

קונסיסטנטיות (עקביות) היא אחת מתכונות היסוד של ידע – עלינו להימנע ככל האפשר מסתירות פנימיות בידע שלנו. השערה חדשה שסותרת את הידע הקיים מחייבת אותנו לנטוש חלקים ממנו, למרות שידע זה מבוסס היטב. הסיכוי של השערה חדשה להיות נכונה קטן יותר, ככל שהיא סותרת ידע מבוסס רב יותר.

כמובן שהשערת גרגרי האבק מתיישבת היטב עם מה שידוע לנו על העולם, ואילו השערת הישויות התבוניות שמגיעות ממימדים אחרים לא פיזיקליים – סותרת חלקים נרחבים ממאגר הידע שבוסס עד כה.

האם העדפת השערות "שמרניות" עלולה לפגוע בקידמה? למנוע פריצת גבולות חדשים במדע?

יש לזכור כי אנו משווים בין השערות שמתאימות לעובדות שבידינו כרגע. אם נחשוב על מהפכות בעולם המדע, הן הגיעו כאשר התגלו אנומליות, כלומר אי התאמות בין החיזוי של המודלים שהיו קיימים באותה העת לבין תופעות שהתגלו. (כך למשל האפקט הפוטואלקטרי וקרינת גוף שחור למשל, היו מהאנומליות שהביאו לפיתוח תורת הקוונטים). ברור שעקביות (ואף פשטות) מאבדות את כוחן אם המודל אינו עומד במבחן המציאות.

אם שתי השערות זהות בכל פרמטר אחר, זו שמתיישבת טוב יותר עם הידע הקיים – היא המועדפת.

*

לסיכום, מעבר לדרישת הקדם שהשערה תתאים לראיות שבידינו, נעדיף השערה ניתנת לבדיקה, בעלת כושר ניבוי גדול יותר, מקיפה יותר, פשוטה יותר ועקבית יותר עם הידע המבוסס שצברנו עד כה.

אם נחזור לדוגמת עיגולי האור שמופיעים בצילומים ונשווה את השערת "החלקיקים/חרקים שחולפים בסמוך לעדשת המצלמה" עם השערת "ישויות האור המסתוריות", ניווכח כי הראשונה עדיפה על השניה כמעט בכל הקריטריונים.

החיים יותר מורכבים

כדי לישם כל קריטריון כשלעצמו, הנחנו כי ההשערות זהות לגבי כל שאר הקריטריונים. מובן שמצב כזה לא מתקיים במציאות.

עדיין לא פותחה איזו נוסחה לשקלול הקריטריונים יחד. במצבים מסוימים חוזק בקריטריון אחד מחפה על חולשה יחסית באחרים. למעשה אין גם נוסחה לגבי כל קריטריון בנפרד.

תהליך בחירה כזה דומה יותר להחלטות משפטיות מאשר לאלגוריתם מתמטי סגור. יחד עם זאת, התהליך אינו כה סובייקטיבי כמו שהוא אולי נשמע. למעט מקרים גבוליים, בד"כ מגיעים המדענים לקונצנזוס די בקלות לגבי ההשערה המועדפת.

כמובן שגוף הידע האנושי אינו סטאטי, אלא נמצא בשינוי מתמיד. השערות ותיאוריות מתעדכנות, מורחבות, מעודנות או אף מושלכות כליל לאור ראיות חדשות שמתגלות.

בסופו של דבר, מבחן המציאות הוא הקובע, והוא יאלץ אותנו להיפרד מהשערה החביבה עלינו (גם אם היא פשוטה, מקיפה, בעלת כושר ניבוי ועקבית עם הידע הקיים), אם היא אינה עולה בקנה אחד עם המציאות.

לא משנה כמה יפה התאוריה שלך, לא משנה כמה אתה חכם. אם אין הסכמה עם הניסוי – זה לא נכון  (ריצ'רד פ' פיינמן)

מקורות והרחבות:

• הרשומה מבוססת על חלק מפרק 6 בספר המומלץ How to Think About Weird Things
• ידיעה, טענות מוזרות ומוחות נשפכים
• המדענים השמרנים האלה לא מפסיקים לשנות את דעתם!
• אי אפשר לבדוק את זה בכלים מדעיים

____________________________________________________

רוצים לקבל עדכון במייל בכל פעם שאני מפרסם משהו חדש? הרשמו למעלה מימין (תמיד אפשר לבטל).
חושבים שאחרים יכולים להתעניין? שילחו להם את הכתבה או שתפו בפייסבוק!

"שוקולד בריא ללב" אנחנו מתמוגגים לקרוא יום אחד באתר חדשות פופולרי, לאחר שכבר השלמנו עם העובדה שאין דבר קטלני ממנו ללבנו. "התגלו חלקיקים מהירים ממהירות האור! איינשטיין מתהפך בקברו" מתנוססת כותרת סנסציונית בוקר אחד בעיתונים; "מהירות האור נשברה בגלל כבל משוחרר" מעדכנת אותנו כותרת צעקנית הרבה פחות כעבור כמה חודשים. האם רוב היקום עשוי מחומר אפל ומסתורי, או שמא תיקון לתורת ניוטון פותר את כל הבעיות מבלי להזדקק לו?

למה המדענים האלה לא מסוגלים להחליט כבר מה נכון ומה לא?

ובכלל, איזה ערך יש לידע מדעי אם כל יום הוא משתנה?

הלא השיטה המדעית מבטיחה ידע בדוק ואמין לא?

תאמינו לי, המדענים האלה לא יודעים כלום!

מה קורה כאן באמת? מה פשר ההפכפכות הזו?

תשובתי מתחלקת לשני חלקים:

1)      הדיווחים במדיה מעוותים בד"כ ואינם משקפים נאמנה את המקורות המדעיים עליהם הם מסתמכים. "נכתב בהשראת מחקר מדעי" או "מבוסס על מחקר אמיתי" – יהיה תיאור נאמן יותר למציאות.

2)      גם המקורות המדעיים מלאי סתירות.

את עיוותי המדיה נשאיר לדיון נפרד בעתיד (אין ספק שהיא מעצימה את הבעיה בצורה דרמטית).
נתמקד הפעם בחלק השני של התשובה וננסה להבין כיצד יתכן שמקורות מדעיים יהיו כל כך מלאי סתירות. האין זו הפגנת חולשה של השיטה המדעית?

בעבר הצגתי את המפעל המדעי כמפעל חברתי שיתופי בעל נורמות התנהגות מסוימות. הועלתה האנלוגיה לקבוצת אנשים שמרכיבה יחד פאזל ענק, כל אחד בסגנונו הוא. (זאת בשונה מתפישת ההתקדמות המדעית כתהליך סטרילי, מתוכנת כמעט, בו מדענים בודדים מפלסים את דרכם אל האמת כשהם פועלים על פי "שיטה" מוגדרת וסגורה).

היום נשים דגש על מימד חשוב נוסף – מימד הזמן. המסע המדעי לחקר המציאות הינו תהליך חוזר ונשנה של בקרה עצמית, סינון טענות והשערות ותיקון עצמי מתמיד.

הכאוס האנושי

מסענו מתחיל באנדרלמוסיה רוחשת של טענות והשערות שונות ומשונות לגבי העולם, שמגיעות מאנשים בעלי דרגות שונות של השכלה, יכולת, עקשנות, יושר ובריאות נפשית. חלקן קוראות תיגר על הידע המבוסס בתחומי הפיזיקה, הכימיה, הביולוגיה, הרפואה, וכו'. חלקן עשויות להוות פריצת דרך רעיונית. חלק מהטענות/השערות תתבררנה כנכונות, לכשתבדקנה. רובן תתבררנה כלא נכונות. חלק בכלל לא ניתנות לבדיקה, אלא מהוות השקפות עולם, דעות אישיות, פרשנויות וכד'.

אני חושב וחושב במשך חודשים ושנים. 99 פעמים המסקנה שגויה.
בפעם ה-100 אני צודק. – איינשטיין

כדי להכנס לעולם המחקר האקדמי רעיונות אלה עוברים סינון ראשוני. טענות שאינן ניתנות לבדיקה נשארות בחוץ – המדע לא עוסק בכאלה.

טענות אחרות נבדקו כבר מאות פעמים בהיסטוריה ונמצאו חסרות אחיזה במציאות (למשל מכונות תנועה-נצחית). לא סביר להשקיע בהן זמן בדיקה נוסף, אלא אם הטוען יביא ראיות משכנעות שהפעם מדובר במשהו שונה.

פסאודו-מדענים למיניהם שאינם מכירים/מבינים את עקרונות המחשבה והפעולה המדעית, נשארים גם הם בחוץ. בעקרון, מה שמשאיר את הטענות הפסאודו-מדעיות הללו מחוץ למחקר המדעי אינו התוכן שלהן דוקא, אלא הדרך הלא מדעית בה מנסים הטוענים לתמוך בהן.

חזית המדע – Where no man has gone before

אנו עוברים אל חזית המדע, בה פועלים אנשים אשר עברו הכשרה מדעית בתחום הרלוונטי. בד"כ נדרשות שנים של לימודי בסיס באוניברסיטה לפני שמישהו יכול לתרום משהו חדש למדע (קשה לפרוץ מסגרת לפני שמכירים מהי המסגרת הקיימת, ומהם "כלי העבודה" הנדרשים כדי להתקדם).

בחזית המדע נמצא את ההברקות והאכזבות, ההצלחות והתסכולים, התגליות המסעירות והטעויות המביכות. זה אזור של אי ודאות, של הימורים וניחושים, של יצירתיות ותעוזה, ולא פחות – של הרבה עבודה שחורה וסיזיפית.
מדענים מעגלים פינות, מבצעים ניסויים חפוזים (Quick & Dirty) רק כדי לקבל התרשמות ראשונית לגבי רעיון שצץ במוחם ובודקים תחושות בטן ואינטואיציות מדעיות. חוקרים עשויים להשקיע שנים מחייהם בבחינת רעיון כלשהו רק כדי לגלות כי הוא שגוי מן היסוד. מאידך, חזית המדע היא המקום בו נפגוש חידושים, הפתעות, ולעיתים אף מהפכות של ממש בתחומים הנחקרים.

אי הסכמות בין מדענים בשלב זה הן דבר שבשגרה. חוקרים שונים מעלים השערות שונות (ואף מנוגדות) לגבי אותם נושאים, כל אחד מהזוית שלו, עם הנסיון והידע שצבר, על סמך הנתונים שעומדים לרשותו. שימוש בטכניקות מדידה שונות, שיטות שונות לעיבוד הנתונים, הטיות שונות שלא נלקחו בחשבון, הנחות יסוד שונות – כל אלה עשויים להביא חוקרים שונים למסקנות שונות, לגבי אותו נושא. (לא פעם מתברר כי שילוב של מסקנות סותרות לכאורה הוא הנאמן יותר למציאות. בתנאים מסוימים השערה א' נכונה, ואילו בתנאים אחרים ב' היא הנכונה. בל נשכח, המציאות מורכבת יותר מכל מודל שמנסה לתאר אותה).

חלפו אם כן שנים אחדות, והחוקר מגיע לשלב בו הוא מסוגל להציג את עבודתו ואת מסקנותיו בצורה מסודרת ומנומקת. כדי שהמחקר שמתבצע בחזית המדע יזכה לעבור לשלב הבא עליו לעבור את מסננת הפרסום. לשם כך יש לשכנע עורכים ובוחנים שהמחקר ראוי לפרסום.

ביקורת עמיתים

כתבי עת מדעיים משתמשים בתהליך של ביקורת עמיתים (peer review), במהלכו המאמרים המוגשים לכתב העת מועברים למדענים אחרים בתחום (בדרך כלל אחד עד שלושה).

עמיתים אלה בוחנים האם השערות המחקר הגיוניות, באלו שיטות השתמשו לאיסוף נתונים, מה היו אמצעי הבקרה וכיצד התיחסו להטיות שונות שעלולות לצוץ, האם התוצאות המדווחות תואמות את ההשערות, האם הניתוחים הסטטיסטיים מתאימים לבעיה ומדווחים בשקיפות מלאה, האם המסקנות נובעות מהתוצאות, וכו'.
בסופה של הבחינה יכולים העמיתים להמליץ לעורך כתב העת על פרסומו של המאמר, אי פרסומו, פרסומו בשינויים מוצעים, או פרסמו בכתב עת אחר.

העמיתים אינם פועלים כקבוצה (כמו חבר מושבעים) אלא כיחידים, באופן בלתי תלוי (כדי לא להשפיע אחד על חוות דעתו של השני). העמיתים אמורים להצהיר בפני העורך על ניגוד אינטרסים אם קיים, בבדיקת העבודה הספציפית. בדרך כלל נשמרת אנונימיות בין החוקר לעמיתים ובינם לבין עצמם, כדי למנוע הטיות בבדיקה על בסיס אישי (בתחומי מחקר שונים הנהלים שונים, והדברים גם משתנים עם הזמן).

העורך מחליט על סמך המלצות הבוחנים מה לעשות עם המאמר. ככל שהעיתון יוקרתי יותר, סף הקבלה גבוה יותר, וכך גם אחוז המאמרים הנדחים, אם בשל רמה מחקרית לא מספקת, או חוסר עניין.

הנה מבוא קליל של 5 דקות לנושא:

התהליך כמובן אינו נטול בעיות, ואינו חסין טעויות.

התהליך איטי

בד"כ חולפים חודשים אחדים, ולפעמים רבים, עד שמאמר מתקבל לפרסום בכתב עת.

החורים במסננת קטנים מדי – הטיות של התהליך לכיוון השמרנות

אנשים בכלל, והבוחנים בפרט, נוטים להיות ביקורתיים כלפי מסקנות שנוגדות את דעותיהם ואוהדים כלפי מסקנות שתומכות בהן. יתרה מזאת, מדענים וותיקים שדעותיהם בד"כ שמרניות יותר, נוטים יותר להיבחר כבוחנים (בגלל נסיונם ומומחיותם). דבר זה עלול ליצור הטיה נגד גישות חדשניות ומהפכניות.
כך למשל, ב-1796 (כן, זו לא טעות הקלדה) נדחה פרסום המאמר המדווח על הצלחת החיסון נגד אבעבועות שחורות. דוגמה אקטואלית יותר היא הסירוב לפרסם את המחקר של שכטמן במשך כשנתיים (לא יותר).

החורים במסננת גדולים מדי – בקרת האיכות לא טובה כמו שהיינו רוצים להאמין

במקרים אחרים מסתבר שהתהליך רופף מדי ומאמרים באיכות ירודה מתפרסמים למרות שעברו ביקורת עמיתים.

בניסיון שנערך על תהליך ביקורת העמיתים, נשלח מאמר מפוברק ל-262 בוחנים. במאמר נשתלו בכוונה 10 שגיאות משמעותיות ו-13 קטנות יותר. רק כמחצית מהבוחנים המליצו לדחות את המאמר. הם עלו על כשליש מהשגיאות בלבד. שני שלישים מהבוחנים לא הבחינו שמסקנות המאמר לא נתמכות ע"י התוצאות.

מביך. אני מקווה שהמאמר הזה עבר ביקורת עמיתים רצינית.

המסננת אינה חסינה בפני זייפנים

תהליך ביקורת עמיתים מניח שהמאמר הנסקר נכתב ביושר. התהליך אינו בנוי לחשוף רמאויות. לסוקרים אין בדרך כלל גישה מלאה לכל הנתונים שנאספו במסגרת המחקר. גם לא ריאלי לצפות מהבוחנים לשחזר את כל עבודת החוקר.

אם מסתבר בדיעבד, לאחר פרסום המאמר, שהיתה רמאות, או שהנתונים אינם ניתנים לשחזור בשום רמה, עורכי כתב העת יכולים למשוך את המאמר חזרה.
דוגמה מפורסמת למאמר שנמשך הוא המאמר של וויקפילד, אשר התפרסם ב-1998 והצביע לכאורה על קשר בין חיסונים לאוטיזם. ניסויים רחבי היקף שניסו לשחזר את הממצאים לא העלו דבר. לא נמצא כל קשר בין חיסונים לבין אוטיזם. תוך כמה שנים הסתבר כי החוקר לא דיווח על ניגודי אינטרסים, "טיפל" בנתונים ועבר עברות אתיות נוספות. המאמר נמחק סופית ב-2010 מכתב העת Lancet בו פורסם במקור. וויקפילד נמצא אשם בהתנהגות מקצועית לא נאותה באופן חמור. רישיונו הרפואי נשלל ממנו.

דוגמה אחרת לזיוף (נחשף ב-2002) היא של פיזיקאי גרמני בשם שון, שגילה לכאורה תגליות מרעישות בתחום המוליכים למחצה. "מחקריו" זכו להתפרסם במבחר כתבי עת (כולל Nature ו-Science), והוא כבר הספיק לזכות בכמה פרסים. כל מחקריו נמצאו מזויפים. ביקורת העמיתים לא עלתה על התרמית, אשר התחילה להיחשף בזכות שלומיאליות של שון: הוא השתמש באותם גרפים בניסויים שונים (שון פוטר ממעבדות בל ותואר הדוקטור נשלל ממנו).

* גם תהליך ביקורת העמיתים עצמו נמצא בבחינה מתמדת. שיטות חדשות מוצעות ונבדקות, במטרה למצוא את שביל הזהב בין כל ההטיות המעורבות.

וזוהי רק ההתחלה

צלחנו בגבורה את שלב ביקורת העמיתים והמאמר שלנו התפרסם בכתב עת מוכר. האם המסע הסתיים? ממש לא. למעשה זו רק תחילת הדרך. גם מחקר שפורסם עדיין אינו "ידע מדעי". זה רק מידע שפורסם ברבים.

אם לא יעורר עניין בקרב המדענים האחרים, מחקר זה "יעלם" בתוך המוני המחקרים החדשים שמתפרסמים כל העת (זהו גורלם המר של רוב המחקרים, שאינם מצוטטים ע"י אף חוקר אחר).

המחקרים שכן הצליחו לעורר עניין מאתגרים מדענים אחרים לבחון אותם ולאתר בהם טעויות, חוסרים או בעיות מתודולוגיות. מדענים אלה יכולים להביע את דעתם במסלול מזורז כגון "מכתבים למערכת". באופן כזה מתנהלים חילופי דברים פומביים בין החוקר שפרסם את המאמר לבין חוקרים אחרים בתחום שחושבים כי מצאו ליקויים בעבודתו. (כך בדיוק חשפה ערנותם של חוקרים אחרים את התרמית של שון אותה הזכרנו לעיל).

במקרים אחדים העבודה תסחוף אחריה עבודות המשך של חוקרים אחרים, בנסיון לאשש או להרחיב אותה (או לעיתים – להפריך אותה).

שווה ציטוט

עבודה שמצוטטת ע"י מספר רב של חוקרים ונתמכת במחקרים נוספים, סביר שלא תכיל מידע שגוי לחלוטין, שתהיה ברמה מחקרית נאותה, מעניינת מספיק ומועילה להמשך המחקר.

עבודות כאלה נכללות בספרות המשנית, כלומר מוזכרות בסקירות רוחב של תחום ומהוות קונצנזוס בתחומי המחקר הספציפיים הרלונטיים.

בחזרה לבית הספר

שנים לא מעטות נוספות חולפות מרגע שמשהו התפרסם בסקירה מקצועית בתחום מסוים, עד שהוא הופך לחלק מספרי הלימוד הבסיסיים של המדע. במשך השנים הללו חלק מהמידע הופך ללא רלוונטי או מסתבר כטעות בכל זאת.
מה שנכנס לספרי הלימוד הוא בעיקר אמין ביותר.

יחד עם זאת, סביר שבעוד כמה עשרות שנים ספרי הלימוד יראו שונים במקצת, ובתחומים מסוימים אולי שונים לגמרי. בנוסף, נצפה לראות מיזוג טוב יותר בין תחומי מדע שונים.

מסננות זיקוק הידע

אם נסתכל על מסננות זיקוק הידע ממעוף הציפור, נוכל לראות כיצד סינון חוזר ונשנה על פני תקופה של שנים רבות, מזקק את המידע הראשוני הסובייקטיבי, הלא ודאי ומלא הסתירות, לכדי ידע אובייקטיבי ואמין, עד כמה שניתן.

כמה מילים על משמיצי המדע

"השיטה המדעית" היא אידאל לשאוף אליו. המציאות תמיד מורכבת יותר. דיונים, התפלפלויות וביקורות לגבי מהות המפעל המדעי ודרך התנהלותו מתקיימים כבר מאות שנים, והמילה האחרונה מן הסתם טרם נאמרה. כמו שהידע עובר ניפוי וזיקוק, כך עוברת גם השיטה המדעית עצמה ליטושים והגדרות מחדש כל הזמן. לקחים מיושמים ומנגנונים עוברים שכלול במטרה ליעל את התהליך.

המדע רחוק מלהיות כלי מושלם של ידע. זה פשוט הכלי הטוב ביותר שיש לנו. – קרל סייגן

בצד הביקורות הלגיטימיות, מושמעות לא פעם השמצות מצד אנשים שדעותיהם ואמונותיהם נמצאות בסתירה לידע המדעי הנכחי ובד בבד אינם מכירים או מבינים את עקרונות החשיבה המדעית. כשהם ממצים את נסיונותיהם היצירתיים לנצל את המדע לצורך אישוש אמונותיהם (ע"י שימוש באנלוגיות קלוקלות, פרשנויות מילוליות-ספרותיות, הרחבות מטאפיזיות וכד'), הם פונים לעיתים קרובות לקו ההתקפה.

משמיצי המדע מנסים לאחוז במקל משני קצותיו: מצד אחד הם מתרעמים ומאשימים את "המדע" בשמרנות וקיבעון מחשבתי על כך שאינו מקבל בזרועות פתוחות טענות שסותרות את אותו ידע מזוקק, ידע ששרד עשרות שנים של ביקורות ועמד בהצלחה באינספור מבחני מציאות.
מצד שני, באותה נשימה ממש, הם בוחרים דוגמאות מחזית המדע, אותה חזית מחקר שמתאפיינת בין השאר בשלל רעיונות נועזים ויצירתיים, ומצביעים בלגלוג על הפכפכותו המביכה של "המדע".

הנה כך בוחרים משמיצי המדע להסתכל רק על החצי "הריק" של הכוס:

כשנקרה בדרכם סיפור על מדען שנאבק שנים על צדקתו ובסופו של דבר זכה בהכרה לה היה ראוי, משמיצי המדע מנפנפים בפרשה בשמחה-לאיד, כהוכחה לאותה שמרנות ממסדית וצרות אופקים של "המדע". מה שהם שוכחים לציין הוא כי לא חלפו שנים רבות והאמת יצאה לאור, בזכות כוח התיקון העצמי של המפעל המדעי, כוח אשר מצליח לגבור על גחמותיהם האנושיות האישיות של כל אחד ואחד מהמדענים המשתתפים במשחק.

הכותרות הצעקניות

נזכר בכותרות ההפכפכות מתחילת הרשומה. מאילו שלבים של זיקוק הידע מגיעות הכותרות הללו?

המדיה מציפה אותנו בעיקר בדברים שלא זכו אפילו להכנס לחזית המדע (כלומר – הבלים, אנקדוטות, דמגוגיות ופסאודו-מדע לסוגיו), ובמחקרים סנסציוניים במיוחד מחזית המדע.

בד"כ מסקנות המחקרים מעוותות בצורה משמעותית לפני שהן מפורסמות במדיה, בין אם מתוך אי הבנה וחוסר מקצועיות מצד הכתבים או העורכים, ובין אם מתוך רדיפת רייטינג. אבל על כך כאמור נדבר בהזדמנות אחרת.

מתי לאחרונה נתקלתם בכתבות שמסבירות את חוקי ניוטון? את עקרונות תורת היחסות? יסודות התרמודינמיקה? הסבר על הטבלה המחזורית? מנגנונים ביולוגיים בתא החי? נכון, אלה לא חדשות. אבל אלה בדיוק פיסות הידע המוצקות והאמינות ביותר שיש למדע להציע. ידע זה כנראה גם לא ישתנה בעשור הקרוב.

אם נזכור כי חלק גדול מהמחקרים המתבצעים בחזית המדע מציגים מסקנות או נתונים אשר מתגלים מאוחר יותר כלא-מדויקים או אף שגויים, ונוסיף לכך את העיוותים הרבים שהמידע עובר עד שהוא מגיע אלינו דרך ערוצי התקשורת, נבין כי רוב המידע אליו אנחנו נחשפים בחיי היום-יום אינו נכון.

המסקנה המתבקשת היא כי עלינו להיות מודעים יותר לאיכות המקורות מהם אנו שואבים את המידע, כמו גם לרמת הבשלות של המידע בהיררכיה של מסננות זיקוק הידע.

אם בידע מוצק ואמין אנו חפצים, ספרי הלימוד גדושים בו: פירות מזוקקים של מפעל ידע משותף, בו נטלו חלק מאות אלפי מדענים במשך מאות שנים.

 סרטון מומלץ על השיטה המדעית (החל מ-2:50 יותר רלוונטי לנושא הרשומה):

*

ברצוני להודות לאורן שעיה, בעל הבלוג עד כדי קבוע (בו תוכלו למצוא גם סדרת ראיונות עם חוקרים צעירים ולקבל הצצה ישירה לחזית המחקר המדעי), ולארז גרטי שפרסם את הכתבה באתר של מכון דוידסון לחינוך מדעי, על ביקורת העמיתים שעשו לכתבה זו, ועל הערותיהם הבונות.

מקורות והרחבות:

• על השיטה המדעית והמורכבות שסביבה (ויקיפדיה בעברית)
• ביקורת עמיתים (ויקיפדיה אנגלית)
• Scientific Literacy and the Myth of the Scientific Method – עמ  44-48.
  קובץ שכולל כמה פרקים מהספר נמצא כאן.
• על ליקויים במתודולוגיה המחקרית הקיימת (בבלוג "הומו סאפיינס" – עברית)
• "הבעיה עם מדענים"
• דני שכטמן – הטרגדיה של המדענים, וניצחון המדע – רועי צזנה

רשומות נוספות שקשורות לנושא:

• אי אפשר לבדוק את זה בכלים מדעיים
• ידיעה, טענות משונות ומוחות נשפכים

____________________________________________________

רוצים לקבל עדכון במייל בכל פעם שאני מפרסם משהו חדש? הרשמו למעלה מימין (תמיד אפשר לבטל).
חושבים שאחרים יכולים להתעניין? שילחו להם את הכתבה או שתפו בפייסבוק!

בשיחות ביני לבין אנשים שמאמינים כי ניתן לנבא את העתיד, לאבחן ולרפא מחלות בצורות שסותרות את כל הידע המדעי, לזמן ארועים מהיקום וכד', הדיון מתנקז עד מהרה לכמה "טיעוני מחץ" קבועים.

אחד מהם הינו "אני לא צריך הוכחות מדעיות, אני יודע שזה עובד", בו נתקלנו כבר בעבר, ועליו לא ארחיב את הדיבור הפעם.

אם אני ממשיך ללחוץ, מסביר על כל ההטיות הקוגניטיביות ועד כמה התרשמות אישית וניסיון אישי יכולים להטעות, לא נותרת ברירה לטוען והוא משתמש בטיעון המחץ הבא, כדי להגן על אמונתו:
"אי אפשר לבדוק את זה בכלים מדעיים".

כשאני ממשיך להקשות ולשאול מדוע לדעתו אי אפשר לבדוק זאת בכלים מדעיים, מועלים אחד או יותר מהנימוקים הבאים:

1)      "אין עדיין מכשירים שמסוגלים למדוד את הדבר הזה (אנרגיה/כוחות/ישויות)".

2)      "כל אדם שונה וזה עובד עליו אחרת".

3)      "יש המון גורמים שמשפיעים ופועלים יחד. המדע לא מסוגל להתמודד עם המורכבות הזו".

4)      "לדבר הזה (אנרגיה/כוחות/ישויות) יש רצון משלו, ואם האדם ספקן, או שזה ניסוי שמטרתו לגלות את הדבר הזה, או שיש אנרגיות שליליות בקהל, או שהאדם (או האנושות כולה) לא בשלים להחשף לזה – זה יכול להחליט שלא להראות את נוכחותו, והניסוי יכשל".

הקטע הבא מבוסס על שיחה אמיתית שהתנהלה בפורום מיסטיקה כלשהו, והוא יעזור ללבן את הנושא.

היא: אתה מנסה לרתום את הרוחניות והמיסטיקה לכלים שלך, וזה לא ילך, כי אלו שני דברים שונים ולעיתים אף מקבילים.
יש דברים שאתה פשוט צריך לדעת מבפנים, להרגיש, לחוות ולסמוך על עצמך ולא על גורמים חיצוניים כלשהם, שיאמתו לך את מה שאתה מרגיש.
האם כשמתאהבים הולכים לבדוק זאת מדעית או פשוט מרגישים? האם כשאוכל טעים שואלים את עצמנו איזה כלי מדעי יגיד לנו אם האוכל טעים? או פשוט מרגישים ויודעים?
אל תנסה לסגור את הרוחניות בקופסת ההגיון, כי זה לא ילך וזה לא נכון לעשות זאת.

אני: כל עוד את מדברת על חוויות סובייקטיביות פנימיות – אני מסכים. אי אפשר למדוד אהבה, אי אפשר למדוד משמעות אישית, אי אפשר למדוד הרגשה טובה, חיוניות, שלווה, עוצמה פנימית. וזה גם לא רלוונטי. (דרך אגב, ההתקדמות בחקר המוח כבר נותנת כלים ראשוניים למדוד חוויות סובייקטיביות באופן אובייקטיבי).

אבל כשאת מדברת על תחומים כמו אבחון רפואי, ריפוי, חיזוי עתיד, זימון מאורעות, השפעת מחשבה על חפצים, טלפתיה – את מדברת על דברים חיצוניים, אובייקטיביים, מדידים. אם אדם הזיז חפץ באמצעות המחשבה זו תופעה אובייקטיבית בעולם החיצוני, לא פרשנות או משמעות אישית.
אם אדם מסוגל להבחין מי מתוך קבוצת אנשים שלפניו חולה במחלה מסוימת ומי לא, על סמך הסתכלות "בהילה" שלו / תיקשור / רייקי או בכל דרך על-טבעית אחרת, זו תופעה אובייקטיבית בעולם החיצוני. אפשר למדוד אותה. אנשים שונים יסכימו עם תוצאת המדידה: "הוא אבחן את 8 האנשים הללו כחולים בסרטן הכבד, ו-7 מתוכם אכן חולים בסרטן הכבד".

כל טענה בדבר משהו חיצוני לנו אפשר למדוד, גם אם בצורה סטטיסטית. (כמו שעושים ברפואה, פסיכולוגיה, אפידמיולוגיה, סוציולוגיה וכו'). איפה את רואה בעיות במדידה כזו? אני לא מבין. נסי לתת דוגמה למשהו חיצוני שלא ניתן למדוד.

באילו כלים תמדוד? בכלים שאתה מכיר? ואם כלי המדידה המסוגלים למדוד זאת עדיין לא הומצאו? ואם הם לא מדויקים או מודדים דברים אחרים לגמרי ממה שהם אמורים למדוד, למשל, מודדים אנרגיית חום במקום אנרגיית ריפוי שעדיין לא יודעים למדוד, ועוד אלמנטים הגורמים לנסיון למדוד להיות מגוחך.

אני לא מדבר על מדידת האנרגיה עצמה. את זה אי אפשר למדוד כי אף אחד לא יודע מה זה. יתרה מזו, לא סביר שאי פעם יהיה אפשר למדוד זאת, מכיוון שהטענה היא שמדובר בישות שאינה פיזיקלית/חומרית, וכל כלי המדידה שהמדע יכול לפתח מסוגלים למדוד רק דברים פיזיקליים/חומריים.

אבל זה לא משנה בכלל מה מהות אותה "אנרגיה". אני מדבר על מדידת ההשפעה של האנרגיה על האנשים. ההשפעה היא משהו פיזיקלי – למשל ריפוי כלשהו. לכן הטיעון שלך לא רלוונטי, כי את ההשפעה לא צריכה להיות בעיה למדוד. אם גם את ההשפעה לא ניתן למדוד, אז על מה מבוססת הטענה כי מישהו חזה משהו? ריפא מישהו?

אי אפשר למדוד אנרגיה והשפעת ריפוי, כי זה משתנה מאדם לאדם, ממחלה למחלה וממטפל למטפל, לכל אחד אנרגיות אחרות. מטפל יכול לשלוח 100% מהאנרגיה שלו למטופל אך זה, בגלל ספק, חוסר יכולת לקבל, חוסר רצון לקבל או אפילו שיעור שהוא צריך לעבור וחייב לעבור זאת דרך התנסות בקושי או במחלה, יקבל רק 50% ואפילו פחות מהטיפול.

עם האתגר שהעלית מתמודדים מקצועות מחקריים רבים כמו רפואה ופסיכולוגיה. הרי גם הם עוסקים באנשים אינדיבידואלים, שונים זה מזה, ומבקשים להגיע למסקנות כלליות יותר (האם תרופה יעילה, מה קורה לאנשים כשהם מתמודדים עם אובדן, וכד'). הודות לשימוש במתודולוגיות מחקר וכלים סטטיסטיים ניתן להגיע למסקנות כלליות יותר, לזהות את המגמות הכלליות מעל רב גוניות הפרטים, לראות את היער בלי לשקוע בעלים של כל עץ. כך, "ממעוף הציפור", אפשר להבחין כי היער דליל באזור אחד וצפוף באחר, כי העצים נמוכים יותר כאן אבל גבוהים יותר שם, וכד', דברים שאי אפשר לראות אם בוחנים בדקדקנות כל עץ בנפרד.

ע"י מחקר סטטיסטי ניתן לגלות כי אלה שאוכלים המון, שוקלים יותר מאלה שמרעיבים עצמם, בממוצע. למרות שכל אחד שונה, הגנים שונים, ההשפעות הסביבתיות שונות, רמת הפעילות הפיזית שונה, עדיין – אלה שמפטמים את עצמם באופן קבוע ישקלו יותר מאלה שמרעיבים את עצמם באופן קבוע, בממוצע. זה כוחה של הסטטיסטיקה. אין סתירה לכך שכל פרט שונה.

אם מבצעים מחקר כמו שצריך, אני לא רואה כל בעיה לדעת אם שיטת ריפוי מסוימת "עובדת ביעילות מדהימה" במציאות או שמדובר באשליה בלבד. בממוצע, קבוצת אנשים שקיבלו טיפול לפי שיטה כלשהי, גם אם נתפר באופן אישי ושונה עבור כל אחד, צריכה להיות בריאה יותר מקבוצת אנשים שנותרה ללא טיפול.

נעבור כעת לטיעון השני ששילבת כאן: "לאנרגיה יש רצון משלה, ואם האדם ספקן, או לא יכול לקבל, או לא רוצה לקבל (במודע או שלא במודע), או לא בשל עדיין לקבל, או שמגיע לו לא לקבל, אזי האנרגיה לא תגלה את נוכחותה והאדם לא יבריא / הניסוי יכשל". 
בניסוח אחר: "הדבר" אינו ניתן להפרכה, כלומר, לא ניתן לחשוב על ניסוי שיראה כי הדבר לא קיים (אם באמת אינו קיים).

לפי ההגדרות המקובלות, טענה שאינה ניתנת להפרכה אכן אינה יכולה להוות מושא לחקירה מדעית, משום שאין שום דרך לקבוע אם היא נכונה או לא, ולפיכך כל דיון בדבר נכונותה הופך ללא רלוונטי. במילים אחרות, אף אחד לא יכול לדעת אם טענה כזו נכונה או לא. הוא רק יכול להאמין שהיא נכונה. טענה כזו זכתה לכינוי "אפילו לא שגויה".

הגורמים למחלה הם כל כך רבים, שאין שום סיכוי לשקלל את כולם בכלים המדעיים הקיימים. הגורמים קיימים ומשפיעים אבל המדע לא מצליח להתמודד עם המורכבות הזו. עובדה, על כל מחקר שמוצא שמשהו גורם לבעיה בריאותית, יש מחקר אחר שמוצא בדיוק ההיפך.

אני מסכים שלעיתים קרובות קשה מאוד לבודד את הגורמים, לזהות את החוקיות הסמויה (אם היא קיימת כמובן), כי החיים באמת מאוד מורכבים. אבל במקרה כזה, איך יתכן כי מישהו גילה את אותה חוקיות פנימית שלא בכלים מדעיים, אם היא כל כך חמקמקה? (בכלים מדעיים אני מתכוון לתצפיות מסודרות, בידוד משתנים, עריכת ניסויים, וכו').

הרי כל אותם אנשי ניו-אייג' טוענים שגילו חוקיות כלשהי. גילו סדר בכאוס. גילו מתאם בין מחשבות לבין השפעתן על ארועים, גילו מתאם בין נפנוף ידיים לבין בריאות האדם שמנפנפים עבורו, גילו מתאם בין מערך הכוכבים ברגע הלידה לבין אורחות חיי האדם, וכיוצא באלה, כיד הדמיון הטובה.

אם מישהו טוען שגילה חוקיות בכאוס, הרי שניתן לחקור זאת מדעית. זו בדיוק מהותו של המדע – לגלות חוקיות בעולם!

לא הכל מגלים בתצפיות מסודרות וניסויים מבוקרים. יש אינטואיציה למשל. אינטואיציה של מטפל, שמבוססת על נסיון אישי של שנים.
איך אלוף שחמט יודע מה הצעד הנכון? האם הוא מחשב מיליארדי חישובים בזה אחר זה, שוקל ומשווה את בין כולם ורק אז בוחר את הטוב ביותר באיזשהו תהליך מודע? לא. ועדיין הוא יכול להתמודד בהצלחה מול המחשבים החזקים ביותר בעולם! כוחה של האינטואיציה מדהים!

את מבלבלת בין הדרך שבה מגיעים לרעיון, לבין הדרך בה בודקים אם הוא נכון.
אינטואיציה זה כלי מבורך. אינטואיציה יכולה להניב באמת רעיונות מבריקים, אבל אינטואיציה יכולה גם לטעות, ולעיתים יותר קרובות משנדמה לנו. המוח שלנו מבצע המון "קיצורי דרך" שמוכיחים עצמם כיעילים במקרים מסוימים, אך מביאים למסקנות שגויות במקרים אחרים.
הדרך בה מישהו הגיע ל"ידע הפוטנציאלי" שלו אינה מפחיתה את הצורך בבדיקה של אותו ידע בצורה מסודרת (כלומר מדעית). רק ע"י בדיקה מבוקרת ומושכלת ניתן לברור את הרעיונות הנכונים מתוך השגויים, להפריד בין חוקיות אמיתית לבין חוקיות מדומה.

מלבד זאת, נומרולוגים, אסטרולוגים, מאבחנים ומרפאים למיניהם מתהדרים בשיטות מפורטות ביותר. המטפל אינו בוהה בלקוח ומתאר את הגיגי ליבו, אלא מבסס את דבריו על מערכות סמלים מורכבות ביותר: זויות בין כוכבי לכת, קמטים על כף היד, נקודות דיקור מדויקות, וכד'. כיצד אפשר לדעת שתורות מורכבות אלה אכן מתאימות למציאות (כלומר נכונות) בלי לבדוק זאת בצורה מחקרית מסודרת (כלומר מדעית)?

***

נחזור ונסכם בתמציתיות את ארבעת הטיעונים שעלו בנושא, ואת תשובותי להם:

1)      "אין עדיין מכשירים שמסוגלים למדוד את הדבר הזה" –
אין צורך למדוד את "זה". מספיק למדוד את ההשפעה שלו על עולם המציאות הנתפשת בחושינו. ואם אין השפעה כזו, אז על מה אנחנו מדברים בכלל?

2)      "כל אדם שונה וזה עובד עליו אחרת" –
בשביל זה פיתחו כלים סטטיסטיים. אם אין חוקיות כללית כלשהי, אז על מה אנחנו מדברים בכלל? מה המשמעות של "שיטה" כזו שאין בה שום חוקים וכללים? ואם גילו חוקיות, ניתן לפחות לאשש אותה במחקר סטטיסטי.

3)      "יש המון גורמים שמשפיעים ופועלים יחד. המדע לא מסוגל להתמודד עם המורכבות הזו" –
אם המדע לא מסוגל להתמודד עם המורכבות הזו, אין דרך לוודא אם טענתו של מישהו שטוען שהוא כן מסוגל להתמודד עם המורכבות הזו (באופן אינטואיטיבי למשל) – נכונה או לא.

4)      "לדבר הזה (אנרגיה / כוחות / ישויות) יש רצון משלו, ואם האדם ספקן, או שזה ניסוי שמטרתו לגלות את הדבר הזה, או שיש אנרגיות שליליות בקהל, או שהאדם (או האנושות כולה) לא בשלים להחשף לזה – זה יכול להחליט שלא להראות את נוכחותו, והניסוי יכשל" –
טענה שאינה ניתנת להפרכה בעיקרון – אין שום דרך לקבוע אם היא נכונה או לא, ולפיכך כל דיון בדבר נכונותה הופך ללא רלוונטי.

אני גם לא חושב שיש צורך לתת משקל כל כך גדול למונחים "מדע", "בדיקה מדעית". בסופו של דבר –

The whole of science is nothing more than a refinement of everyday thinking – Albert Einstein

לפיכך, לומר על משהו שאמור להיות לו ביטוי במציאות החיצונית – "אי אפשר לבדוק את זה מדעית" שקול לאמירה "אי אפשר לבדוק את זה" אשר שקולה לאמירה – "אי אפשר לדעת אם זה נכון".
(על "מה זה לדעת" דברנו בעבר כאן).

מה דעתכם?
האם תוכלו לתת דומגה לתופעה שיש לה ביטוי בעולם החיצוני, אבל אי אפשר, בעיקרון, לחקור אותה בכלים מדעיים?
ולגבי תופעה כזו:
1)      מה בדיוק הבעיה שמונעת את היכולת לבדוק אותה מדעית?
2)      כיצד מישהו יכול לדעת משהו על התופעה הזו בדרך אחרת?

לקריאה נוספת:

• Can Science Test Supernatural Worldviews?

• תקשור, בירבוז ודרקונים בלתי נראים

• ידיעה, טענות משונות ומוחות נשפכים

____________________________________________________________________

רוצים לקבל עדכון במייל בכל פעם שאני מפרסם משהו חדש? הרשמו למעלה מימין (תמיד אפשר לבטל).
חושבים שאחרים יכולים להתעניין? שילחו להם את הכתבה או שתפו בפייסבוק!

התגלית

בראשית 1903, שמונה שנים לאחר גילוי קרני ה-X (ע"י הגרמני וילהלם רנטגן) פשטה הידיעה בקרב מדעני צרפת בדבר גילוי סוג חדש של קרינה. Rene Blondlot, אחד הפיזיקאים המפורסמים של אותה תקופה גילה קרינה זו וקרא לה קרינת-N, כהוקרה לעיר בה התגלתה – Nancy.

בלונדלוט הבחין כי הקרינה גורמת להתפרקויות חשמליות שהיא עוברת דרכן להראות בהירות יותר. הוא פיצל את קרני ה-N לתדרים שונים ע"י מנסרה מצופה אלומיניום (בדומה לפיצול קרן אור לבנה לצבעי הקשת ע"י מנסרת זכוכית), וביצע שלל מדידות וניסויים לאפיון אותה קרינה.

עד מהרה התגלו מקורות שונים שפולטים קרניים אלה, גלאים שונים שיכולים לגלות אותה, וחומרים שונים שמעבירים או חוסמים אותה (נייר סיגריות יבש למשל מעביר קרני-N, אך רטוב לא).

חוקרים רבים (בצרפת בעיקר) החלו להתנסות עם הקרינה החדשה, וגילו שלל תופעות מדהימות. כך למשל  Augustin Charpentier, פרופסור מכובד לביופיזיקה בבית הספר לרפואה, גילה כי ארנבות וצפרדעים פולטים קרינת-N, שרירים פולטים אותה אבל גידים לא. הוא גילה כי חשיפה לקרני-N הגבירה את רגישות העין, חוש הריח והשמיעה. הוא הבחין כי הקרינה הבוקעת מיצורים חיים שונה מעט מקרינת-N רגילה, וכינה קרניים אלה "קרניים פיזיולוגיות". נמצא גם כי קרניים אלה ניתנות להעברה דרך חוט תיל.

כמות התגליות שהצטברה סביב קרני ה-N במשך שלוש שנים בלבד היתה כה רבה, עד כי נדרשו 60 עמודים רק כדי למנות את התופעות השונות שהתגלו. בסה"כ התפרסמו בנושא כ-300 מאמרים ע"י 120 מדענים.

כדי להמחיש את גודל ההתלהבות סביב התגלית נציין כי שני פיזיקאים וספיריטואליסט אחד טענו כי הם המגלים המקוריים של קרני ה-N, טענות שנבדקו ע"י האקדמיה למדעים הצרפתית.

אך לא כולם הצליחו לשחזר את הממצאים. מדענים ידועי שם אחרים ניסו למדוד את השפעות קרני ה-N אך ללא הצלחה.

מה קורה כשאדם בעל חשיבה חדה מגיע לזירה

Robert Wood היה פיזיקאי אמריקאי שהתפרסם בעיקר בזכות חקר הקרינה האולטרא-סגולה (UV). תחומי התעניינותו היו רבים ומגוונים, וכללו בין השאר פענוח פשעים בשיטות מדעיות וחקירת מעלליהם של מדיומים ספיריטואליסטים. כששמע על הקרניים החדשות שהתגלו בצרפת, קפץ לביקור ובדק במה המדובר.
הנה קטעים ממה שמספר Wood במכתב שהתפרסם ב-Nature לקראת סוף 1904 (תרגום חופשי שלי):

"כשלונם של מספר גדול של פיזיקאים נסיוניים מנוסים למצוא עדות כלשהי לקיומן של קרני-N, והזרם הבלתי פוסק של פרסומים בדבר תופעות יותר ויותר מדהימות של קרניים אלה, המריצו אותי לבקר באחת המעבדות בהן הודגמו ממצאים אלה. יצאתי לדרכי אפוף ספקות, אני מוכרח להודות, אבל עם תקווה שאשתכנע בדבר ממשותה של התופעה.

לאחר שביליתי [בזבזתי?] 3 שעות או יותר בצפיה בנסיונות שונים, לא רק שנבצר ממני לדווח על תצפית אחת שיכולה להעיד על קיומה של קרינה זו, אלא שהשתכנעתי כי אותם חוקרים שקיבלו ממצאים חיוביים השלו את עצמם במובן זה או אחר.

הניסוי הראשון שזכיתי לחזות בו היה שינוי הבהירות של ניצוץ חשמלי כאשר קרני N מרוכזות עליו באמצעות עדשת אלומיניום. נטען כי קל מאוד להבחין בהבדלי הבהירות אך אני לא הייתי מסוגל להבחין אפילו בשינוי קל. הוסבר לי שעיני כנראה לא רגישות מספיק. הצעתי לחוקרים שינסו לזהות מתי אני חוסם עם ידי את קרני ה-N, ע"י צפיה בבהירות הכתם של המסך (מבלי לדעת מתי אני חוסם את הקרניים). בשום מקרה לא ניתנה תשובה נכונה. הכתם הוכרז כבהיר וכהה לסירוגין בעוד ידי חסמה באופן רציף את מסלול הקרניים. גם כשהסרתי אותה המשיכו הדיווחים להגיע בלי קשר לתנועת היד החוסמת".

בשלב זה עבר Wood לתעלול אחר: בחסות החשיכה ששררה בחדר בו נערכה הדגמה, סילק Wood את המנסרה שהיתה הרכיב הקריטי ביותר במערך הניסוי. החוקרים המשיכו לדווח על אותה תבנית של קרני-N, למרות שכזו לא היתה יכולה להראות במצב בו המנסרה אינה במקומה! (אם היה ממש בקרני ה-N, כמובן).

 בניסוי אחר, כמה כתמים של צבע זרחני אמורים היו לשנות את חדותם כתוצאה מהזזה של לוח מתכת קדימה ואחורה בקרבתם. Wood המשיך בתעלוליו: "לא יכולתי להבחין בשום הבדל, למרות שנאמר לי כי התופעה לא מוטלת בספק והשינויים מאוד ברורים לעין. בעודי מחזיק את לוח המתכת מאחורי גבי הזזתי את זרועי קדימה ואחורה ביחס למסך. החוקרים המשיכו לתאר את אותם השינויים."

לאחר כמה חשיפות מביכות נוספות הוא מסכם:

"אני מוכרח להודות שעזבתי את המעבדה בתחושה חזקה של דכאון. לא רק שלא ראיתי ולו ניסוי משכנע אחד, אלא שהייתי משוכנע כמעט לגמרי כי כל שינויי הבהירות שדווחו (והיו העדות היחידה לקיומן של קרני ה-N) הם פרי הדמיון בלבד. נראה מוזר שאחרי עבודה של שנה בנושא לא תוכנן אפילו ניסוי אחד שיכול לשכנע צופה ביקורתי בכך שהקרניים בכלל קיימות."

Wood מציע דוגמה לניסוי ש"היה יכול להכריע את הנושא מעל לכל ספק", והמבוסס על עיקרון הסמיות-הכפולה (Double Blind): נניח רוצים לבדוק את הטענה כי לוח מסוג א' מעביר קרני N בעוד שלוח מוסג ב' חוסם אותן. כל שנדרש הוא שחוקר אחד יכניס למסלול הקרן את לוח א' או לוח ב' באקראי (נניח לפי תוצאת הטלת מטבע), וחוקר אחר שאינו יודע איזה לוח הוכנס יציין אם הוא מזהה את ההשפעה של הקרניים על מערך הניסוי. באופן כזה החוקר השני לא יודע אם הוא "אמור" לראות השפעת קרינה או לא. תרגיל זה מנקה את הרצון שלו לראות משהו מסוים מלהשפיע על תוצאות הניסוי. לאחר שחוזרים על כך פעמים רבות, בודקים מה מידת ההתאמה בין סוג הלוח שמוקם בכל פעם ע"י החוקר האחד לבין דיווחי החוקר השני. אם ההתאמה מושלמת או גבוהה – כנראה שקיימת תופעה אמיתית. אם אין התאמה – התופעה ככל הנראה אינה קיימת במציאות.

לפרסום הדיווח של Wood  היתה השפעה מוחצת. רק מחקר אחד שתמך בקיומן של קרני-N התפרסם לאחר החשיפה המביכה הזו. בלונדלוט עצמו, שפרש לגמלאות ב-1909, היה משוכנע בקיומן של הקרניים שלו לפחות עד 1926.

כיצד מצליחים 120 מדענים למדוד דבר שאינו קיים?

קיומה של קרינת N הוסק על סמך עדויות ראיה בלבד (שינויי בהירות קלים בין כתמי אור). מכיוון שהמוח של החוקרים הוא שפירש את מה שהם ראו (ולא מכשיר מדידה "אובייקטיבי"), הציפיות והרצונות שלהם השפיעו על מה שראו בפועל.

המדענים הונו את עצמם, באופן לא מודע, לראות את מה שציפו לראות, או כמו שניסח זאת Gardner – הם סבלו מ – "self-induced visual hallucination".

המעניין במקרה הזה הוא התפשטות "ראיית המצופה" בקרב קהילה שלמה של אנשים, כלומר, אפילו חזרה על הניסויים במעבדות אחרות ובציוד אחר לא הספיקה כדי לנפץ את האשליה! זו דוגמה לאשליית המונים. (עוד על חווית המצופה תוכלו לקרוא כאן, על דוגמאות מתחומי העל-טבעי תוכלו לקרוא כאן, ועל אשליות המונים – כאן).

הדבר הפשוט שכל אותם מדענים נכשלו לעשות היה להטיל ספק בעצם חושיהם. לנסות להכשיל את עצמם, להעמיד את עצמם ואחד את חברו במבחן פשוט שינקה את ההטיות של ראיית הצפוי והרצוי.

דוגמה לחולשתו של המדע או לחוזקו?

אלה שאינם מבינים את מהותו של המפעל המדעי, סבורים בטעות כי המדע צריך להיות חסין מטעויות ולהניב רק אמיתות מוחלטות. הם רואים בפרשיית קרני ה-N מקרה שמחליש את המדע: "הנה, גם מדענים גדולים טועים ובגדול!"

אבל הפרשייה הזו מדגימה בדיוק את ההיפך – היא מדגימה את חוסנו של המפעל המדעי להתגבר על חולשותיהם של המדענים הספציפיים (בין אם מדובר בהונאה עצמית, בשרלטנות מכוונת, באטימות או עקשנות, בקנאה, בנקמה אישית, ביצר פרסום או בכל תכונה אנושית אחרת).

פרשיית קרני ה-N נלמדת כלקח היסטורי לגבי הסכנות שאורבות בניסויים שאינם מתוכננים כראוי. ניסוי שמתוכנן כראוי מנקה את השפעת החוקרים על התוצאות, למשל ע"י שימוש בפרוטוקול של סמיות כפולה. זו בדיוק היתה מהות ה"תעלולים" ש-Wood ביצע בביקורו, ואשר ניפצו תוך שעות ספורות שנה של מחקר אינטנסיבי.

וכאן נעוץ אחד ההבדלים העיקריים בין מדע לפסאודו-מדע. במדע אשליית המונים כזו מתנפצת תוך זמן קצר, ומושלכת למגירת "כשלים ולקחים". במחוזות הפסאודו-מדע זה לא קורה: כל אשליה עצמית של חוקר ממשיכה לשגשג במשך עשרות ואף מאות שנים. רבבות מאמינים ממשיכים לדבוק בה גם לנוכח ניסויים פשוטים שמפריכים אותה מכל וכל, ובמסגרת לימודים והכשרות של אותו תחום פסאודו-מדעי מעבירים את אשליית ההמונים הזו לדורות הבאים.

מקורות:

• http://www.rexresearch.com/blondlot/nrays.htm
• http://en.wikipedia.org/wiki/N_ray
• http://www.skepdic.com/blondlot.html
• http://www.skeptic.com/eskeptic/10-10-13/#feature

לקריאה נוספת:

• על ההבחנה בין מדענים ל-מדע: "דני שכטמן – הטרגדיה של המדענים, וניצחון המדע" מאת רועי צזנה.
• על "נפילה" מודרנית ומפורסמת יותר של מדענים – "היתוך קר" – אפשר לקרוא למשל כאן: חמור קופץ בראש, או איך זה שאני עדיין משלם חשבון חשמל? מאת אורן שעיה.
• "לחוות את המצופה"
• "לחוות את המצופה – גירסת העל-טבעי"
• "איברי-מין נעלמים, התגלות מריה הקדושה ואשליות המונים נוספות"

____________________________________________________________________

רוצים לקבל עדכון במייל בכל פעם שאני מפרסם משהו חדש? הרשמו למעלה מימין (תמיד אפשר לבטל).
חושבים שאחרים יכולים להתעניין? שילחו להם את הכתבה או שתפו בפייסבוק

איך מסבירים מהו מדע? כיצד מתנהל "המפעל המדעי"? שאלות לא פשוטות, כפי שתעיד אפילו הצצה חטופה בערך "השיטה המדעית" בויקיפדיה. לא אנסה להתמודד עם נושא מורכב זה כאן (נושא שמוקדשים לו קורסים ואף תארים שלמים באקדמיה).

במקום זאת אציג את אנלוגית הרכבת הפאזל השיתופית שהציע Michael Polanyi, כימאי, שפנה בהמשך דרכו לעסוק בפילוסופיה של המדע. התוודעתי לאנלוגיה זו כשקראתי את הספר המעניין הזה, ואני מוצא אותה פשוטה, עשירה ומאירת עיניים.

הפאזל – מפת המציאות

אפשר לדמות את המחקר המדעי להרכבה משותפת של פאזל ענק ע"י חוקרים רבים. כל אחד מנסה להוסיף חלקים לפאזל תוך ביקורת עצמית וציבורית, שמאשרת כי החלק אכן נראה מתאים למקום המוצע לו. ככל שהמלאכה מתקדמת, קל יותר לחוקרים האחרים להבין היכן החלקים שלהם יכולים להתאים. כך, בעבודת צוות, ניתן להתקדם באופן מהיר ובטוח יותר לעבר השלמת הפאזל.

הפאזל, לכשיושלם, יהיה מעין מפה מלאה של המציאות. כיצד יראה הפאזל השלם? אף אחד אינו יודע כרגע, אך אזורים רבים כבר ממופים באופן מרשים.

מלאכת ההרכבה

כל אחד מהמשתתפים פועל באופן עצמאי לחלוטין, ואין מנהיג יחיד או הנהלה מרכזית שמחלקת את העבודה בין כולם באופן מסודר. הכוונה שכזו עלולה לא רק שלא לעזור אלא אף לעכב את התקדמות העבודה, מכיוון שהיא מצמצמת את המקום ליצירתיות ולהפתעות. בנוסף, מניעים אידאולוגיים כאלה ואחרים עלולים להטות את הפעילות לכיוונים שאינם עולים בקנה אחד עם המציאות.

ישנו מגוון רחב של גישות לגבי ההרכבה: חלק מתמחים בחלקים צדדיים, חלק יבנו גושים קטנים מסביב לאזורים בעלי משמעות ברורה (למשל דמות אדם), חלק בעיקר יאספו את החלקים שנראים כשייכים לאזור מסוים בפאזל ואחרים יתמקדו בקבוצה זו של חלקים וינסו להתאימם זה לזה. חלק מחפש התאמות לפי צבעים וחלק לפי הצורות של החלקים. כל אחד לפי העדפתו האישית וכישוריו הטבעיים.
באזורים מסוימים שיטה אחת מתגלה כיעילה יותר בעוד שבאזורים אחרים שיטה אחרת יעילה יותר. בתקופות שונות הדברים עשויים אף להתהפך.

לעיתים יהיה קשה למצוא חלקים מתאימים ואנשים יקדישו זמן לתאוריות לגבי מה שעשוי להתגלות באותו אזור. באזורי עבודה אחרים יהיו כל כך הרבה הזדמנויות להוספת חלקים שכולם יעסקו בהרכבה בקדחתנות, ורק מאוחר יותר יתפנו לקחת צעד אחורה להסתכל על התמונה הנוצרת.

קבוצות שונות תתווכחנה ביניהן מהי מהות ההרכבה – האם ניסוי וטעיה היא הדרך הנכונה? או שמא בניית תאוריות לגבי החלקים שלא נמצאו עדיין?

קבוצות שונות תפתחנה "מילונים" שונים לתאור צורות או צבעים, בהתאם לצורת החיפוש המאפיינת כל אחת מהן.

יש זמנים בהם הנושא המתגלה באזור מסוים ברור (בית, עץ, דמות) וכל מה שנותר הוא להשלים את החלקים סביב, חלקים שאינם משנים מהותית את מה שניתן לומר על אזור זה של הפאזל.

יש זמנים אחרים, בהם מתגלות תגליות מהפכניות: פתאום מבינים כי יש צורך לפרק ולהרכיב מחדש אזורים שנראו מתאימים היטב עד עכשיו. יתכן והתגלו חלקים חדשים יותר מתאימים, או שחלקים שנראו שייכים לשמיים מסתברים כהשתקפות במים, למשל. כך אזורים שלמים מתאחדים, או מחליפים מקום ומשמעות.

ככל שהפאזל הולך ומושלם ואזורים רבים יותר מקושרים ביניהם, הסיכוי לצורך בארגון משמעותי מחדש הולך וקטן. אך עד שלא מונחת החתיכה האחרונה לא ניתן להיות בטוחים באופן מוחלט כי שינויים ומהפכים לא ידרשו בעתיד.

מרכיבי הפאזל

מרכיבי הפאזל הם אנושיים כמו כולנו, לטוב ולרע.

כולם בחרו מרצונם לשחק במשחק הזה, ובאופן צפוי לא כולם טובים באותה המידה. חלקם עלולים אפילו להזיק בהשתתפותם.

משתתפים עלולים להחמיץ הזדמנויות או לנסות להתאים מחדש באופן אובססיבי חלקים שאחרים כבר מצאו והתאימו. לעיתים משחק המזל למישהו, גם אם אינו מוכשר, והוא מוצא חלק קריטי של הפאזל שחמק מעיני כל השאר. אחרים עשויים לתרום את תרומתם העיקרית בהצבעה על טעות מסוימת שאחרים עשו.

ויש את אלה שמנסים לאלץ חלקים למקומות לא ממש מתאימים מבלי כוונת זדון, אולי כתוצאה מעודף אמביציה ותקוות שוא שזה יתאים.

יש כמה אחרים שפשוט מרמים, דוחפים חלקים לא מתאימים, משייפים קצת את החלק כדי שיתאים, אולי אפילו מייצרים חלק שלם מזויף, כל זאת כדי לקדם את הקריירה האישית שלהם.

 הנה סיכום הדברים (לחצו להגדלה):

ואלה שמגיעים מסיפור אחר

יש כאלה שבכלל לא מכירים בחוקי המשחק. הם לא מנסים לגלות את תמונת המציאות. יש להם כבר תמונת עולם בה הם בחרו להאמין מלכתחילה, ושום דבר לא ישנה את דעתם. "אל תבלבל אותי עם העובדות, אני את שלי כבר החלטתי".

הנה מה שקורה כאשר מרכיב פאזל פוגש ב-נאמן קופסה.
זו עבודה נפלאה שמסתובבת ברשת בשבועות האחרונים ונקראת "ראיות לעומת אמונה – סיפורם של שני ארנבים".  המקור נמצא כאן. לנוחיות הקוראים תרגמתי את הכתוביות לעברית, בהסכמתו (ולשמחתו) של היוצר המקורי.

[אני מתנצל אם התמונות פגעו במישהו. וויכוחים סוערים התפתחו באחד האתרים לגבי הסטראוטיפים הסקסיסטיים המקוממים והדוחים שמוצגים כאן – חצאית ומשפטים ורודים לארנבת לעומת מכנסיים ומשפטים כחולים לארנב, ועוד שאר תופעות חברתיות מזעזעות שלא שמתי לב אליהן. עם הגולשים והגולשות הסליחה, אני רק תרגמתי את הטקסט, ואני מציע שנפסח על הדיונים בנושאים הללו כאן 🙂 ]