הקדמה
בתחילת 2012 פרסמתי שתי רשומות בנושא נומרולוגיה. כזכור, למרות חיפושים ותשאולים רבים, לא הצלחתי לאתר ולו מחקר אחד שהראה תוקף כלשהו לטענה כלשהי באסכולה כלשהי של נומרולוגיה.
מנגד נשמעות טענות מרחיקות לכת בדבר כוחם של המספרים להשפיע על חיינו, לטוב ולרע, להצלחה ולאבדון, ובדבר יכולות אבחון מועילות כאלה ואחרות.
יצאתי בקריאה נרגשת לכל נומרולוג/ית באשר הם, לבצע מחקר משותף כדי לנסות לאשש ולו טענה נומרולוגית מסוימת אחת. מספר נומרולוגיות פנו אלי בעקבות הפרסום. עם שלוש מהן הנסיונות להגדיר בדיקה קונקרטית לא עלו יפה. הרביעית, מתי היליה שטרנברג, היתה מדויקת ואמיצה מספיק לטעון טענה מוגדרת היטב וניתנת למדידה. העבודה איתה היתה זורמת, נעימה ופרודוקטיבית, לכל אורך הדרך.
הנה תאור המחקר שבצענו יחד, ותוצאותיו. (הדברים נכתבו ב"סגנון חופשי" ולא כמאמר מדעי).
אני ממליץ לקרוא הכל, ולא לדלג ישר לתוצאות ולהסתפק בהן. התובנות והמסרים החשובים נמצאים בדרך, לא בתוצאה.
מטרת המחקר
הנומרולוגית מתי היליה שטרנברג ואני ערכנו מחקר משותף במהלך מרץ-יוני 2012.
עידו גנדל, בעל תואר שני בפסיכולוגיה קוגניטיבית (מחקרית), יעץ בענייני מתודולוגיה וניתוחים סטטיסטיים.
מטרת המחקר היתה בדיקת תקפות אבחון נומרולוגי לזיהוי לקויות קוגניטיביות, מאחת המשפחות הבאות:
- לקויות למידה – דיסלקציה, דיסגרפיה, דיסקלקוליה.
- הפרעות קשב ריכוז והיפראקטיביות (ADHD).
- הספקטרום האוטיסטי (PDD).
תחום הלקויות נבחר ע"י מתי למרות צדדים בעייתיים מסוימים שבו (אליהם נתייחס בסוף).
על פי המתודה לפיה מתי עובדת, ה"מפה הנומרולוגית" המלאה של אדם מושפעת מרכיבים רבים מעבר לנתוני המאובחן עצמו, למשל שם הוריו, מפת הלידה של האם ומפות הלידה של ילדיו. עם זאת, מהבחינה הנומרולוגית, בתחום הלקויות לא אמורות להיות השפעות חיצוניות ולפיכך אין צורך להתחשב בנתונים של אנשים נוספים.
בנוסף, הלקויות אינן נובעות מבחירה אישית (כמו למשל מקצוע, מקום מגורים וכד') ובכך אנו נמנעים מהיבט בעייתי לא פחות – פוטנציאל נומרולוגי שלא התגשם בגלל או בזכות גורמים בלתי תלויים.
השיטה
הפרטים שנאספו מהמשתתפים במחקר היו: שם מלא, תאריך לידה לועזי, והצהרה שלהם לגבי קיום אבחון של אחת מהלקויות הנ"ל. פרטים נוספים שנאספו היו מגדר, שם חיבה (לא נעשה בהם שימוש כלשהו במחקר הנוכחי), שם אמצעי (אם קיים) ומקום להערות.
השאלונים הופנו להורים לגבי ילדיהם, מכיוון שהנומרולוגית היתה מעוניינת בשנתונים צעירים יחסית, משתי סיבות:
- האבחונים בדור ההורים היו מועטים הרבה יותר ויש חשש למצבים בהם אנשים עם לקויות פשוט אינם מאובחנים – דבר שייטה את תוצאות המחקר.
- פחות ברור מה השם המקורי. אנשים מחליפים שמות, מעברתים, שוכחים, מוסיפים שמות – דבר שייצור כמובן הטיות מבחינה נומרולוגית.
בניית גליון החישוב
עוד בטרם התחלנו לאסוף את הנתונים, מתי הגדירה בדיוק מה הנוסחאות בעזרתן היא מחשבת את הסיכוי ללקות, בהתבסס על השם ותאריך הלידה. הנוסחאות מורכבות ביותר, במובן שאין שום דרך בה אדם שאינו מומחה בנומרולוגיה יכול להתחיל לנחש בכלל מהי הבדיקה שמתבצעת. מדובר בשלבי חישוב אחדים שמבוססים זה על זה, עד אשר מגיעים לחיזוי הנומרולוגי הסופי: יש/אין לקות.
מתי הגדירה שלוש בדיקות נפרדות שכל אחת מנבאת לקות על סמך שיקול נומרולוגי שונה. הניבוי הסופי הוא איחוד של שלוש הבדיקות, כלומר, מספיק שאחת מהבדיקות תצביע על פוטנציאל ללקות, כדי שהאבחון הנומרולוגי ינבא לקות.
אני בניתי גליון אקסל שמחשב את הנוסחאות עבור כל משתתף פוטנציאלי, מתי בדקה היטב את הנוסחאות, ולאחר כמה מעברים על גליון החישוב הגענו לגרסה בדוקה ומאושרת ע"י מתי. כל אחד מאיתנו מחזיק עותק של הגיליון ויכול לבדוק את החישובים בעצמו.
איסוף הנתונים
הנתונים נאספו ע"י מילוי טפסים מקוונים. הנה טופס לדוגמה.
הטפסים מומשו באמצעות מסמכי-גוגל, דבר שהקל מאוד על מלאכת האיסוף: קישור לטופס מופץ, אנשים לוחצים על הקישור, ממלאים את הפרטים והם נאגרים בטבלה דמוית אקסל באופן אוטומטי, תוך ציון זמן מדויק.
קישורים לטפסים פורסמו במקומות אחדים, ע"י כל אחד מאיתנו בנפרד. כל אחד עשה שימוש בשני טפסים נפרדים אותם פרסם במקומות שונים, באופן שנתן בקרה מסוימת לגבי ההענות של המשיבים מכל מקום בו פורסם הטופס הספציפי.
בנוסף, ההפרדה של הטפסים בינינו אפשרה בקרה על הנתונים שכל אחד מאיתנו הצליח לאסוף, כדי להפיג חשדות היפותטיים עתידיים לגבי הטיות שנובעות מאופי האוכלוסייה שמלאה כל שאלון (לדוגמה, חשש שספקנים או חובבי נומרולוגיה ינסו להטות את התוצאות באופן כלשהו).
כמות הנתונים הנדרשים לא הוגדרה במדויק מראש, פרט לשיקול של מינימום הדרוש לניתוח הסטטיסטי. היעד היה כמה עשרות נתונים מכל סוג (ילדים שאובחנו באחת מהלקויות הנ"ל / ילדים שלא אובחנו).
כל אחד עשה כל מאמץ להפיץ את השאלונים כדי לצבור כמה שיותר נתונים. בפועל, נראה שההענות היתה משמעותית רק בחוג המכרים (גם אם "ווירטואליים") של כל אחד מאיתנו. פורומים אחדים שעוסקים בלקויות למידה לא נאותו לפרסם את המחקר, כל אחד מסיבותיו הוא. נותר היה לנו רק לקוות שנאגור מספיק נתונים בפרק זמן סביר.
במהלך איסוף הנתונים לא נערכו עליהם בדיקות או חישובים כלשהם, והפסקת איסופם היתה בהסכמה מלאה של שנינו, לאור הדלדלות סופית של זרם הנתונים ומקורות הפרסום הפוטנציאליים הנוספים.
סה"כ נאספו נתונים לגבי 170 אנשים.
ניקוי הנתונים
עוד בטרם נאספו הנתונים הוגדרו כללי סינון ברורים, שמטרתם להקטין אי ודאויות ורעש עד כמה שאפשר. ואלו כללי הסינון:
- כל נבדק משנת לידה 2005 ואילך – כדי להמנע עד כמה שאפשר ממצב של "טרם אובחן".
- כל נבדק משנת לידה 1986 ואחורה – כדי להמנע מתת-אבחון וכדי להקטין אי ודאות לגבי שינוי שם, החלפת שם בנישואין וכד'.
- כל מי שסימן "לא אובחן אבל נראה שיש לקות".
- נתונים לא מלאים או מכילים מידע סותר (שני שמות פרטיים, סימון "לא אובחן ולא נראה שיש לקות" במקביל לסימון אחת מהלקויות מהרשימה, וכד').
- בעלי שם אמצעי. הדבר משנה את החישובים הנומרולוגיים לגבי הלקויות, ומכיוון שהחלטנו לא להכנס לזה במחקר הנוכחי, נאלצנו להפרד בצער רב גם מבעלי השם האמצעי.
תהליך הניקוי בוצע ע"י שנינו במקביל, תוך בקרה הדדית מלאה. במקרים בודדים של אי בהירות כלשהי נהגנו במידת ההחמרה, והוצאנו את הנתון.
בסוף התהליך נותרו 81 משתתפים שענו על כל הקריטריונים. 39 מאובחנים, ו-42 שאינם מאובחנים (ולא נראה להורים שיש לקות). החלוקה טובה ולפיכך הסתפקנו בנתונים שנאגרו.
ניתוח הנתונים
כל המשתתפים שענו על תנאי המחקר נכנסו לטופס החישוב הנומרולוגי, וחולקו לארבע הקטגוריות הבאות:
א) מאובחנים (לפי המידע שנמסר) וגם מאובחנים נומרולוגית
ב) מאובחנים (לפי המידע שנמסר) וגם לא מאובחנים נומרולוגית
ג) לא מאובחנים (לפי המידע שנמסר) וגם מאובחנים נומרולוגית
ד) לא מאובחנים (לפי המידע שנמסר) וגם לא מאובחנים נומרולוגית
מצבים א+ד הם מצבים בהם יש הסכמה בין האבחון הנומרולוגי לבין המצב בשטח, ואילו מצבים ב+ג הם מצבים בהם אין הסכמה.
הצלחה מסחררת תהיה אם רוב הנתונים יפלו בקטגוריות א+ד כמובן. "כשלון חשוד" יתרחש אם כל הנתונים יפלו בקטגוריות ב+ג (כי אז ע"י הפיכת הנוסחאות אפשר לקבל אבחון נומרולוגי מושלם).
המצב הצפוי אם אין שום קשר בין הנוסחאות הנומרולוגיות לבין המציאות הוא שמאובחנים נומרולוגית יתפזרו במידה פרופורציונאלית בין המאובחנים רשמית לאלה שאינם מאובחנים (במקרה שלנו, כמעט חצי-חצי).
התוצאות
להלן התפלגות הנתונים:
הבדיקה הסטטיסטית המתאימה למקרה כזה (ואשר נבחרה מראש) נקראת חי-בריבוע, ובמקרה שלנו היא בודקת עד כמה התפלגות הנתונים שהתקבלה תואמת את ההתפלגות שהיתה מתקבלת אם לא היה קשר בין שתי צורות האבחון.
הצלחת האבחון הנומרולוגי פירושה חריגה משמעותית מתוצאה אקראית, וזו תתבטא בערך p נמוך במבחן חי בריבוע. בד"כ, תוצאה שההסתברות לקבלתה קטנה מ-5% נחשבת מובהקת סטטיסטית (פירוש הדבר שתוצאה כזו או טובה ממנה תתקבל רק באחד מ-20 ניסויים כאלה, אם היא פרי המזל בלבד). כלומר p<0.05 תחשב תוצאה מעניינת.
ערך ה-p שהתקבל עבור נתוני המחקר הוא 0.3, ערך שמשמעותו חוסר מובהקות סטטיסטית לתוצאות, כלומר, על סמך נתונים אלה האבחון חסר תוקף, וכל קשר בינו לבין המציאות מקרי בהחלט.
רק כדי לסבר את העין, בואו נבדוק מה היתה מידת ההצלחה בניסוי אם האבחון הנומרולוגי היה מצליח להפריד בין אוכלוסיית המאובחנים ללא מאובחנים במידה מסוימת. אפילו לא מרשימה, נניח שכ-70% מאלה שאובחנו באופן רשמי כבעלי לקות היו מאובחנים גם ע"י הנומרולוגיה, וכ-70% מאלה שלא אובחנו כבעלי לקות היו מאובחנים כך גם ע"י הנומרולוגיה. ההתפלגות היתה כזו:
כאן מתקבל p=0.0005 וזו כבר היתה נחשבת הצלחה מסחררת! כלומר, בהחלט אין צורך שהאבחון הנומרולוגי יתאים לאבחון הפורמלי בכל המקרים כדי שהמתאם יצא מובהק. רחוק מכך.
מתוך סקרנות נציץ בשלוש תוצאות הביניים של החישוב (שלוש הבדיקות), כפי שהתקבלו לאחר הצבת הנתונים.
אף אחת מהן אינה מובהקת סטטיסטית.
המרכיב השני כשל כשלון חרוץ. היה תת-אבחון קיצוני: רק 2 אנשים אובחנו כבעלי לקות, אחד מהם באופן נכון ואחד מהם באופן שגוי. מעניין לציין כי לטענת מתי זה המבחן הנומרולוגי הידוע/מקובל מבין השלושה.
שלב המשחקים
באופן מובן, היה פיתוי גדול לשחק ו"למשמש" קצת את הנוסחאות, כדי לבדוק האם ניתן ע"י שינוי כזה או אחר לשפר את מובהקות האבחון.
כמובן שהדבר אסור בתכלית האיסור לביצוע במסגרת המחקר הנוכחי, שכן כל שינוי, קטן ככל שיהיה, משמעותו "נסיון קליעה" חדש. מכיוון שמטרת המחקר היא לבדוק האם האבחון הנומרולוגי טוב יותר מניחוש, כל שינוי, גם אם מדובר בשינוי פרמטר בנוסחה הקיימת, סילוק אחת הבדיקות וכד', מהווה ניחוש חדש לחלוטין. ככל שמספר הניחושים שנבחן גדול יותר, הסיכוי רב יותר שאחד מהם יניב תוצאות טובות במקרה. בסופו של דבר, תמיד נוכל להצליח למצוא נוסחה שתאבחן את האנשים באופן מדהים.
למה הדבר דומה? נניח תלינו על הקיר מטרה והמשימה היא לקלוע לשטחים השחורים בלבד. מגיע מתחרה, זורק כמה עשרות חיצים ו… פוגע במידה דומה באזורים לבנים וכהים, בקיצור לא מרשים ביכולותיו כקלע.
הקלע המתוסכל שלנו לא מוותר. הוא בוחן את תבנית הקליעה שלו היטב: "מה היה קורה אילו הייתי זורק קצת יותר למעלה את כל החיצים שלי? ממש קצת? אולי ימינה? אולי אם הייתי ממקד את כולם טיפה יותר למרכז? אם הכל היה מסובב קצת בכיוון השעון?"
לבסוף הוא מגלה שאם היה זורק את כל החיצים רק טיפה שמאלה, אחוזי הקליעה שלו היו מרשימים.
אך מה יכולה להיות הסיבה לכך שכל החיצים שזרק פגעו קצת ימינה מהרצוי? בודאי יש סיבה הגיונית לכך. הממ… רוח כמובן! מן הסתם נושבת רוח קלה מצד שמאל, אשר סוחפת את כל החיצים קצת ימינה. ובאמת, אם נזיז את המטרה מעט ימינה נקבל פגיעות מרשימות!
משמאל – קליעה בפועל: 5 מתוך 11 חיצים פגעו באזורים שחורים.
מימין – קליעה אם נזיז את המטרה רק מעט ימינה: 10 מתוך 11 חיצים היו פוגעים באזורים שחורים.
עד כאן הכל טוב ויפה. אך האם היינו מסתפקים בהשערה זו ומעניקים לקלע את מדליית הזהב בתחרות הקליעה? אני מניח שלא.
מה היינו מבקשים ממנו לעשות? לזרוק שוב את החיצים כמובן, תוך שהוא לוקח בחשבון את כל גורמי התיקון שעולים על דעתו אשר יבטיחו לו הפעם קליעה מדויקת למטרה. אם בפעם השניה הוא אכן יקלע היטב למטרה, הרי שניחן ככל הנראה בכישורי קליעה אמיתיים. אם לעומת זאת יפספס שוב ויטען הפעם (לאחר שיבדוק את מצב קליעותיו) כי נדרש תיקון אחר, רובינו כבר לא נתייחס אליו ברצינות.
וחזרה למחקר הנומרולוגי.
אכן התגלה, כי אם נפטרים מהבדיקה הקלאסית שלא הראתה כל תועלת, ובנוסף משנים את ערכו של פרמטר מסוים בבדיקה אחרת, מקבלים תוצאה מרשימה של p=0.01!
האם עלינו על תגלית מדעית אמיתית, או שרק ציירנו מחדש את המטרה סביב החיצים?
יש רק דרך אחת לברר זאת: צריך להפעיל את הנוסחאות החדשות על מדגם חדש של נבדקים.
שינסנו מותניים, ויצאנו לאסוף מדגם חדש. (זו גם אחת הסיבות לזמן הממושך שחלף בין תחילת המחקר עד לרגע זה של פרסומו).
המדגם השני
הפעם הצלחנו לאסוף נתונים של 272 אנשים חדשים. כאשר הדלדל סופית זרם המשיבים החלטנו על סיום שלב האיסוף.
לאחר ניקוי הנתונים באותו אופן בדיוק כמו בחלקו הראשון של המחקר, נותרנו עם 105 משתתפים.
(116 נוקו על סמך גילאים לא מתאימים – בעיקר צעירים מדי, 20 מהנותרים ציינו כי הילד לא אובחן אך נראה שיש לו לקות – כפי שהוחלט ניקינו גם את אלה. 20 מהנותרים היו בעלי שם אמצעי, ו-11 מהנותרים היו שמות לא תקינים – 6 הזנות כפולות של נתונים, שם אחד בראשי תיבות 3 בעלי יותר משם אחד בשדה השם הפרטי ואחד החשוד שמכיל כינוי חיבה בשדה "שם משפחה").
תוצאות המדגם השני
להלן התפלגות הנתונים לארבע הקטגוריות:
נשים לב כי האבחון הנומרולוגי מנבא חוסר בלקות בכ-3/4 מהמקרים (80 מתוך 105). אחוז זה זהה הן לגבי אלה שלא אובחנו כלקויים באופן רשמי (תוצאה טובה) אך הן לגבי אלה שכן אובחנו כלקויים (תוצאה עגומה).
למה הדבר דומה? להגרלת מספרים בין 1 ל-4, והכרזה על ליקוי למידה בכל פעם שיתקבל 1, ועל אי-לקות בכל פעם שיתקבלו המספרים 2, 3 או 4.
(דרך אחרת לראות את כישלון האבחון היא להסתכל למשל על אלה שאובחנו נומרולוגית כבעלי לקויות: היו 25 כאלה. ההתפלגות שלהם בין אלה שאובחנו רשמית לאלה שלא אובחנו רשמית היא בדיוק כהתפלגות המאובחנים / לא-מאובחנים (2/3 ו- 1/3), כלומר תוצאה זהה היתה מתקבלת ע"י ניחוש פשוט).
ואכן p=0.87 עבור נתונים אלה, כלומר אין כל תוקף סטטיסטי לאבחון.
כמו בחלק הראשון של המחקר, גם הפעם אף אחד מחישובי הביניים המרכיבים את הנוסחה הסופית לא התקרב להניב תוצאות מובהקות כשלעצמו.
הנחות וגורמי הטיה אפשריים
להלן כמה מההנחות שעומדות בבסיס המחקר, וגורמי הטיה אפשריים לתוצאות.
ערפול בכל הקשור לאבחון לקויות:
האבחונים אינם חד משמעיים, ויש מקרים גבוליים רבים. רף האבחון משתנה עם השנים. ילדים עלולים להיות לא מאובחנים מתוך התכחשות של הוריהם למצב. ילדים עלולים להיות מאובחני-יתר ע"י הורים בכדי להשיג להם הקלות בלימודים.
יחד עם זאת, אנחנו מניחים כי בכל זאת קיים מתאם גבוה בין היות ילדים מאובחנים או לא מאובחנים, לבין לקויות.
הטיות מדגם כתוצאה מבחירה עצמית של משתתפים
בהחלט יתכן שהיו הטיות כאלה. אולי הורים לילדים בעלי לקויות ששו יותר להשתתף במחקר; אולי דוקא הססו יותר. אולי ההזמנה להשתתפות במחקר הופצה ביתר יעילות בקרב הורים לילדים בעלי לקויות. יתכן שחלק מהאנשים שילדיהם אינם בעלי לקות הבינו בטעות כי המחקר לא רלוונטי עבורם ולא השתתפו בו משום כך.
כך או אחרת, במבנה המחקר הנוכחי הטיות כאלה לא אמורות להשפיע על התוצאות. כל שנדרש הוא שיהיה מספר גדול מספיק של משתתפים בכל אחת מארבע הקטגוריות.
נסיון רמאות מכוונת ע"י משתתפים
קשה להאמין שציבור שלם ינסה לחבל בתוצאות בכוונה. נניח לרגע שהדבר בכל זאת קרה: מכיוון שהמשתתפים לא יודעים מהי הנוסחה, אין באפשרותם לדעת אם ע"י שינוי פרט כזה או אחר הם יקטינו את תוקף האבחון הנומרולוגי או דוקא יגדילו אותו.
גם אם מספר אנשים "ירמו" או לצורך העניין פשוט יתבלבלו בהזנת הנתונים, ההשפעה תהיה מינורית, ולא תטה את תוצאות המחקר מ"אבחון מובהק" לחוסר תוצאה מובהקת.
כדי להסיר חשד ל"רמאות המונית", בדקנו לחוד את הנתונים שנאספו דרך הפרסום בבלוג "חשיבה חדה" ולחוד את הנתונים שנאספו דרך הפרסום באתר של מתי (כזכור, הנתונים נאגרו בקבצים נפרדים). הבדיקה הראתה כי אין לכך כל סימן בנתונים.
נסיון חבלה בנתונים מצד החוקרים
כל הנתונים היו זמינים לשני הצדדים בכל רגע במהלך איסופם. כל צד היה רשאי כמובן לגבות את הנתונים בכל רגע למחשב הפרטי שלו ולוודא בהמשך שלא חל בהם שום שינוי.
כמה מילים על הטיות מחקריות ופרסום סלקטיבי
רצה הגורל, המחקר הנוכחי הדגים כמה נקודות בצורה מאוד מוחשית:
חישבו עד כמה קל היה לחוקר נומרולוגיה נלהב לפרסם את המחקר בשלב שלאחר המשחק בנוסחאות. אחרי הכל, השינוי היה באמת מינורי. רק סילוק אחד המרכיבים בחישוב ושינוי פרמטר תמים במרכיב אחר, והוקוס פוקוס, p=0.01!
לא היתה התעסקות בנתונים עצמם. לא נמחקו שמות, לא זויפו ערכים. רק שינוי קל בנוסחת החישוב, שממילא לא הוצהר עליה מראש. מי יכול לדעת?
יתכן שחוקרים תומכי נומרולוגיה אחרים ערכו מחקרים דומים אך קיבלו תוצאות שליליות ובחרו שלא לפרסם אותן. חוקרים שאינם תומכי נומרולוגיה מן הסתם לא יבזבזו זמן ותקציבים על ביצוע מחקר שכזה מלכתחילה.
סיכום
לא נמצא קשר סטטיסטי מובהק בין האבחון הנומרולוגי לבין אבחון רשמי של לקויות למידה.
גם הנוסחאות ה"משופרות", שהניבו מתאם מרשים על בסיס הנתונים הראשונים, כשלו לחלוטין לגבי נתונים חדשים.
מסקנה: השיפור היה "ציור המטרה סביב החיצים", אחרי הכל.
כמובן שלא ניתן להסיק ממחקר זה שום מסקנה כללית לגבי התוקף של הנומרולוגיה. כל שניתן להסיק הוא שהשיטה הנומרולוגית הספציפית בה נעשה שימוש, למטרה הספציפית הזו (אבחון לקויות למידה) בשימוש בנוסחאות הספציפיות הללו – חסרת כל תוקף.
ספק אם אקדיש זמן נוסף בעתיד לבדיקת טענה נומרולוגית אחרת, אבל אני מקווה שהתרגיל הזה הדגים מה הרמה המינימלית שנדרשת כדי לבדוק אם לטענה כלשהי מסוג זה יש קשר למציאות. אני בטוח שעם תקציבים גדולים יותר מאלה שעמדו לרשותנו (אפס), אפשר יהיה להגיע לניסויים ברמה גבוהה יותר ולתוצאות אמינות אף יותר.
אם בניסויים חוזרים ונשנים, ע"י חוקרים שונים ולגבי השערות מחקריות שונות ומגוונות תתבהר ותעלה תמונה אחרת, לפיה אבחונים נומרולוגיים הינם בעלי תוקף, תהיה סיבה טובה להתחיל להתייחס ביתר רצינות לתחום פעילות זה.
דברי הסיכום של מתי
הנומרולוגיה הקבלית שייכת לעולם רוחני-מיסטי, אשר רב הנסתר בו על הגלוי, והגדרות "מובהקות" אינן מתאימות לו בהגדרה. גם כאשר אנו מנסים לדייק עולם זה באמצעות נוסחאות וחישובים [כפי שהנומרולוגיה עושה], הרי שהמכלול הרחב של מרכיבי המפה הנומרולוגית המשפיעים על דרך חייו של האדם, התנהגותו, בריאותו וכד', בצירוף אלמנט הבחירה האישית, מקשים על דיוק מובהק כפי שנדרש בעולם המדעי. זו הסיבה מדוע עד היום כמעט ולא נערכו מחקרים בתחום ומרבית הקולגות שלי נמנעים מכך, וזהו בדיוק הפתח דרכו נכנסים הספקנים ומעלים את ספקותיהם.
על אף הקושי האובייקטיבי, מצאתי במחקר זה בעיקר אפשרות מעניינת לניסוי כלים ושכלולם בדרך שאף פעם לא התאפשרה לי, ואולי חיבור, ולו לרגע, בין מאמינים לספקנים… זו היתה דרך מיוחדת לטעמי לייצר דיון משותף עם קהל שהנושא כל כך זר לו. מלכתחילה הנחתי כי את הספקנים שבחבורה אתקשה לשכנע, כך שגם במקרה ותתקבל תוצאה מובהקת אדרש לבדיקות נוספות, בעוד שאת המאמינים גם תוצאה שאינה מובהקת לא תסיט מאמונתם… וכך, על אף הסיכון הגבוה שתתקבל תוצאה "שאינה מובהקת" כפי שחששו קולגות ואשר רק תשרת את הספקנים, בחרתי להרים את הכפפה שזרק גלעד.
כפי שציין גלעד בפרק ההנחות וגורמי ההטיה האפשריים, קיים ערפול מסויים בתחום אבחון הלקויות, אך בחרתי בו, מאחר והוא בין הנושאים הבודדים החפים מהשפעות חיצוניות בהיבט הנומרולוגי. העמדתי למבחן הסטטיסטי שלושה כלים [כלי = חישוב בעל משמעות נומרולוגית או נוסחה הבודקת הימצאות או מינונים של מספרים מסויימים במיקומים ספציפיים במפה הנומרולוגית]. מאחר וגם הכלים מורכבים מאוד וניתנים להרצה במספר ואריאציות [למשל קביעת הרף המסנן מבחינת מינון של גורם מסויים במפה], לקחתי בחשבון כי הסיכון לסטייה בתוצאות מאוד גבוה.
מטרתי לשכלל את האבחון הנומרולוגי בנושא הושגה בחלקה. מבין שלושת הכלים הצלחתי לפסול כלי אשר "חשדתי" בדיוקו זה זמן רב, ומאידך זיהיתי כיצד אני יכולה לדייק יותר בשניים האחרים גם אם התוצאות אינן מובהקות דיין. מאחר וכל נסיון לדייק יותר את הכלים מצריך הרצה חדשה על קהל מאובחנים חדש, היכולת שלי להגיע לתוצאות חדשות טובות יותר מבחינה סטטיסטית הוגבלה. במצב אופטימלי, בדיוק כפי שחוקר במעבדה מריץ ניסוי שוב ושוב, הייתי שמחה לאפשרות להריץ את הכלים במספר ואריאציות נוספות, אולם נאלצנו להסתפק בשני מדגמים בלבד לאור הקושי בהשגת רשומות חדשות.
לתחושתי, קיים סיכוי גבוה כי גם גודל המדגם השפיע על המובהקות, מאחר ולכל נתון יש משקל רב יותר במדגם של 80-100 רשומות לעומת 1000 רשומות למשל. כדי להמחיש זאת אתייחס לנתון של גודל כל אחת מהקבוצות במדגם. אם בריצה הראשונה כלל המדגם 81 רשומות מתוכן 39 סווגו על ידי ממלאי השאלון כ"בעלי לקות" ו-42 כ"ללא לקות", הרי שבמדגם השני שכלל 105 רשומות, רק 35 סווגו כ"בעלי לקות" ו-70 כ"ללא לקות". אחד ההיבטים המעניינים שרציתי לבחון בתוצאות היה, האפשרות כי האבחון מדייק יותר בשלילת לקות, אך מאחר וגודל הקבוצה שסווגה במקור "ללא לקות" היה פי שניים מהקבוצה של "בעלי לקות", הרי שהמחקר השני הקשה עלי לבדוק זאת. וכך, גם אם גודל המדגם מספק מבחינה סטטיסטית, הרי שחוסר הסימטריה בחלוקה הפנימית של הסיווגים גורם לכך שכל טעות אבחונית, שאפשרית בדיוק כמו בעולם המדעי, מקבלת משקל גדול יותר ומטה את התוצאות לרעה. כאמור, בהיבט זה נאלצתי להשלים עם כורח המציאות. עצרנו לאחר שני מדגמים קטנים יחסית עם חלוקה לא סימטרית [לאחר שניפינו רשומות לא תקינות], ואין לי אפשרות להוכיח טענה זו.
וכך, על אף תוצאה "מאכזבת" לעת עתה, אני יוצאת עם שלל רב להמשך עבודתי. תובנות לגבי שכלול האבחון שאני עורכת, וכלי חישובי שיאפשר לי לעשות זאת עבור קהל לקוחותי ותלמידי ואולי אף להריץ מחקר נוסף בעתיד. אבחונים מוצלחים והכוונות מדייקות ללקוחותי הם המדד היחיד מבחינתי לתקפות הנומרולוגיה [הגדרה שכמובן אינה מקובלת על קהל הספקנים המבקשים הוכחות מובהקות, ואני מקבלת זאת בהבנה], אך איני מרימה ידיים לגבי האפשרות לזקק בעתיד את האבחון בהיבט הסטטיסטי, כך שגם הספקנים יאלצו להטיל ספק בספקותיהם.
אסיים בתודה לגלעד שהיה פרטנר נהדר לעבודת המחקר, סבלן ביותר לשאלותי בתחום הסטטיסטי, רהוט ביותר בתשובותיו והסבריו, ורב יכולות בהיבט של בנית הכלי המחקרי.
____________________________________________________________________
רוצים לקבל עדכון במייל בכל פעם שאני מפרסם משהו חדש? הרשמו למעלה מימין (תמיד אפשר לבטל).
חושבים שאחרים יכולים להתעניין? שילחו להם את הכתבה או שתפו בפייסבוק!
היום יקרה כאן משהו שונה לגמרי. חריגה חד פעמית ומודעת מרוח הבלוג הכללית.
חשיבה חדה 