מאת

"כישופולוגיה" – זה עובד?

לא פעם אני נשאל מה ידוע על שיטת טיפול אקזוטית כזו או אחרת. האם נחקרה? האם היא יעילה? (אתם יודעים, יותר מפלצבו / החלמה טבעית / פרשנות סובייקטיבית של המעורבים בטיפול), האם היא בטוחה?
אני מניח שרבים מכם מצאו עצמם לא פעם במצב דומה, אך נאלמו דום מול אינסוף תוצאות החיפוש שהמטיר עליהם גוגל. כיצד לנפות מידע אמין מתוך מתקפת השיווק האגרסיבית שמתפרצת אלינו מכל עבר?

אחלוק אתכם את "מתכון החיפוש" שלי בנושא של טיפולים חשודים, מתכון שהוכיח עצמו כיעיל מאוד עבורי. בתוך דקות בודדות עד עשרות דקות, תקבלו מושג טוב עם מה יש לכם עסק (תלוי כמה המושג נדיר ולאיזו דרגת וודאות אתם שואפים להגיע). לא מדובר בהוכחה מוחצת לשום כיוון. מדובר בקריאת כיוון, בהדלקת נורות אדומות ובהנפת דגלי אזהרה.

1)      לפני שתתחילו, אתם צריכים לזהות את מונחי המפתח באנגלית. מה לעשות, בעברית, הסיכוי שתתקלו במידע אמין, קטן הרבה יותר. למשל, אם לטיפול קוראים "בולשיטולוגיה" אתם אמורים למצוא הרבה תוצאות חיפוש בגוגל למונח “bullshitology”. לפעמים המשימה קשה יותר. טריק נוסף הוא לזהות שם של אדם שמעורב בפרשה (ממציא השיטה למשל) ולחפש אותו באנגלית. השלב הזה דורש לעיתים קצת ניסוי וטעיה, אבל ברגע שתעלו על המונח הלועזי, דרככם סלולה.

2)      כשלב ראשון, מומלץ לקרוא את הערך המתאים בויקיפדיה באנגלית. כדאי לקרוא את ההקדמה כדי לקבל מושג במה המדובר, ואז לדלג ישר לסעיף "ראיות מחקריות" / "ביקורת" וכד' שמופיע בד"כ בהמשך הערך, כדי לברר האם התחום נבדק, ואם כן, מהן הראיות. כמובן שאין לקחת את מה שרשום בויקיפדיה כתורה מסיני, אלא כאוסף הפניות למחקרים מדעיים ומקורות מידע איכותיים אחרים שכדאי לבדוק.

3)      אם לא מצאתם מידע מספק בויקיפדיה תוכלו לבדוק את הנושא באתרים יעודיים שבוחנים טיפולים אלטרנטיביים, שרלטנות רפואית ופסאודו-מדע מזוית ספקנית-מדעית. אם מדובר בטיפול מפוקפק, סביר שהוא זכה להתייחסות הולמת לפחות באחד מהם:

4)      The Evidence So Far – Complementary Medicine – מסמך רחב יריעה שכדאי לחפש בו את הטיפול החשוד (הטיפול יכול להופיע בכמה מקומות, שימו לב למבנה המסמך בתוכן העניינים).

5)      Google – אם לא מצאתם מספיק מידע עד לשלב הזה, אפשר לערוך חיפושים בגוגל, שכוללים את שם הטיפול + אחת מהמילים הבאות: skeptic, hoax, fraud, quackery, debunked. במקרים רבים חיפוש זה יעלה את המקורות המוזכרים לעיל, אך לעיתים תגלו התייחסויות רבות נוספות, בייחוד אם מדובר בטיפול אזוטרי ו/או חדש יחסית.
עדכון: כדי לחסוך את הקלדת המילים הנוספות הללו תוכלו להשתמש בשדרוג צנוע של גוגל, שפותח ע"י שניים מחברי קבוצת "חשיבה חדה" – https://lmstbsfy.com/

6)      Google Scholar – ממקד את התוצאות בחומר מחקרי ואיכותי יותר. מומלץ להוסיף את המילה review כדי לקבל סקירות רוחב ולא לטבוע בים של מחקרים ספציפיים.

7)      PubMed – אתר הספרייה הרפואית הלאומית של ארצות הברית. (שוב, המילה review יכולה לעזור).

זהו. כל התורה על רגל אחת. כמובן שלא מדובר בתחקיר עומק, אבל בד"כ, לצורך התרשמות כללית, זה מספיק.

פרחי באך-1

הדגמה: פרחי באך

כדי להדגים את התהליך ניקח כדוגמה משהו שרבים שמעו עליו, אבל אני בספק אם רבים יודעים במה בדיוק מדובר ומה הראיות המחקריות לגביו – פרחי באך.

[מכיוון שמטרת החלק הזה היא להדגים את תהליך החיפוש ולא להציג תחקיר מסודר בנושא פרחי באך, ומכיוון שממילא החיפוש מתבצע באתרים שכתובים באנגלית, אחרוג ממנהגי, ואביא ציטוטים ללא תרגום. עם קוראי עברית בלבד הסליחה.]

נתחיל בויקיפדיה, אפילו בעברית:  "סקירה של נתוני מחקרים רבים, שנערכה ב-2002, הניבה את המסקנה כי ההנחה שלתמציות הפרחים יש אפקט כלשהו מעבר לאפקט הפלצבו אינה נתמכת בנתונים ממחקרים קליניים מחמירים. לדברי המטילים ספק בשיטה, הגורם העיקרי לפעולתן של תמציות הפרחים הוא אפקט הפלצבו, אשר מוגבר על ידי ההתבוננות העצמית של המטופל במצבו הרגשי, או פשוט על ידי עצם העובדה שהמטפל מאזין לו."
לא נשמע כמו התחלה מבטיחה לשיטה.

נעבור לויקיפדיה באנגלית, ונדלג ישר לסעיף "Effectiveness" –

“In a 2002 database review of randomized trials Edzard Ernst concluded:  The hypothesis that flower remedies are associated with effects beyond a placebo response is not supported by data from rigorous clinical trials.[4]

A systematic review in 2009 concluded: Most of the available evidence regarding the efficacy and safety of BFRs (Bach Flower Remedies) has a high risk of bias…
Our analysis of the four controlled trials of BFRs for examination anxiety and ADHD indicates that there is no evidence of benefit compared with a placebo intervention.[3]

A newer systematic review published in 2010 by Ernst concluded: All placebo-controlled trials failed to demonstrate efficacy. It is concluded that the most reliable clinical trials do not show any differences between flower remedies and placebos.[15]”

להתרשמות כללית זה מספיק. אין ראיות מוצקות שזה עובד. תחקיר של 5 דקות.

מי שרוצה להעמיק יכול לעיין במחקרים שויקיפדיה מצטטת, כדי לוודא שלא שיקרו לנו בפנים:

אם נחזור לעיין בשאר חלקי הערך בויקיפדיה, לא יקשה להבין למה זה לא עובד יותר טוב מפלצבו:

“Rather than using research based on scientific methods, Bach derived his flower remedies intuitively[9] and based on his perceived psychic connections to the plants.[10]p. 185 If Bach felt a negative emotion, he would hold his hand over different plants, and if one alleviated the emotion, he would ascribe the power to heal that emotional problem to that plant. He believed that early-morning sunlight passing through dew-drops on flower petals transferred the healing power of the flower onto the water,[11] so he would collect the dew drops from the plants and preserve the dew with an equal amount of brandy to produce a mother tincture which would be further diluted before use.[12] Later, he found that the amount of dew he could collect was not sufficient, so he would suspend flowers in spring water and allow the sun's rays to pass through them.[11]”

ב- RationalWiki, בסעיף "אפקטיביות" אנו מקבלים נקודת מבט חדשה (נזכור כי קמצוץ החומר הצמחי מהול בתמיסה שמחציתה מים ומחציתה ברנדי):

“… though the brandy on its own has been known to be effective in making the user feel better.”

ב-QuackWatch וב-SkepDic סוקרים רק את "הפילוסופיה" שמאחורי הטיפול, ללא מידע מחקרי נוסף.

במסמך הזה – The Evidence So Far – Complementary Medicine אנו פוגשים בחלק מאותן סקירות שוב, ולא פלא, היות ובמקרה זה עורך המסמך הוא אותו אדם שביצע חלק מן הסקירות לעיל. יש לשים לב לנקודה זו ולוודא שלא כל הסקירות בהן נתקלנו הן פרי אותו חוקר – דבר שהיה מעלה את הסיכון להטיות שיטתיות לכיוון עמדתו האישית בנושא. ריפרוף ברשימה לעיל מראה שהיו עוד 3 קבוצות חוקרים שונות, כך שלא מדובר במסע צלב של אדם בודד נגד הטיפול המדובר (ובכל מקרה מדובר בסקירות של מחקרים שבוצעו ע"י חוקרים אחרים).

אה, ועוד משהו. ה"רסקיו" המפורסם הוא תערובת של 5 תמציות פרחי באך חסרות תועלת שכאלה יחד.

יחי הפלצבו וההחלמה הטבעית!

פרחי באך-2

"פרחי באך" התגלו כאגוז קל לפיצוח. הנושא נחקר לא פעם, והתוצאות ברורות.

לעיתים יש לעמול קשה יותר כדי להגיע למידע מחקרי לגבי שיטת טיפול כלשהי, בין אם בגלל שמידע כזה לא קיים, ובין אם בגלל שמדובר בטיפול חדש שלא זכה עדיין להתייחסות ביקורתית מטעם אנשי מקצוע רלוונטיים. כך או אחרת, אמינותם של טיפולים כאלה מפוקפקת ברמת ההגדרה.

אני מניח שלא הייתם רוצים להיות שפני הניסיונות של טיפול שיעילותו ובטיחותו לא נבדקו בצורה ראויה.
Would you?

*

זה המקום לשתף בטכניקות החיפוש והחקירה שלכם!

לקריאה נוספת:

31 מחשבות על “"כישופולוגיה" – זה עובד?”

  1. יש לי שאלה יותר מסובכת, האם אתה מכיר טיפולים אלטרנטיבים.
    שטובים ועובדים, לא רק לפי אפטק הפלציבו.
    או על דברים שהטלתה בהם ספק, אבל דווקה התברורו כנכונים.
    הגיוני שהרוב בולשיט, אבל בטח יש משהו גם נכון.

    אהבתי

    להגיב

    • פה ושם יש משהו.
      כרגע עולה לי לראש אכיניצאה, שעד כמה שזכור לי דווקא כן התגלתה כבעלת יעילות כלשהי. יש עוד כמה דוגמאות בודדות כאלה שמוזכרות ב"ריפוי או פיתוי", בעיקר בתחום "צמחי מרפא".
      כמובן שלא כל מה שמטילים בו ספק מתגלה כשגוי. כל השערה מדעית מתחילה את דרכה בספק, וממשיכה להיות מוטלת בספק זמן רב אח"כ.
      אבל אני כן מתרשם שרב השגוי על הנכון. קשה מאוד להגיע לידע אמיתי.

      אהבתי

      להגיב

      • בפקולטה לרוקחות יש קורס בצמחי מרפא. יש לפחות שלוש מאות צמחי מרפא ידועים שהאפקט שלהם מוכח ואין שום פלא בדבר. חומרים מרפאים יכולים להירקח במעבדה ויכולים להיות גם קיימים בטבע.

        אהבתי

        להגיב

          • מה שהסבירו לי לפני שהעיפו אותי מביה"ס לרוקחות הוא שיש בעיה. אי אפשר מטבע הדברים להוציא פטנט על חומר שקיים בטבע ולכן לחברות התרופות אין אינטרס לעשות מחקר יקר על צמח אם אחר כך לא תהיה להם בלעדיות על התרופה שתופק ממנו. (ואת הדברים האלו לא שמעתי מקוסנפירטורים הזויים אלא ממרצים מוסמכים בפקולטה).
            אני יכול להגיד לך שבאותו זמן (לפני עשרים שנה) עשו מחקר גדול על חשיש ועל האפשרות להפיק ממנו חומר שמונע בחילות והקאות, כאן יש בעיה אחרת כידוע לך – מדובר בסם בלתי חוקי והנושא רגיש מאד בגלל החשש שמא תהיה לגיטימציה לאנשים לצרוך סמים.

            אהבתי

            להגיב

  2. צורת החיפוש הזאת משולה לכך שאני אפנה אדם שמחפש מידע על יעילות ותופעות לוואי של כימותרפיה לאתרי רפואה משלימה… אתה חושב שהוא יקבל זווית ראייה נייטרלית?

    העצה הכי טובה שאפשר לתת לאדם שמחפש מידע כלשהו על תחום טיפול ברפואה משלימה זה לפנות לקופות החולים, שם מטפלים בפיקוח רפואי כך שהאפשרות לגרימת נזק מינימלית. ואם נורא בא לו לבדוק אם יש מחקרים בתחום הוא יכול לקפוץ לרופא המשפחה.

    אהבתי

    להגיב

    • כמה דברים.
      1) בכוונה התעלמתי מהבעת דעות ("זה שטויות") ומטיעונים כגון "לא נשמע הגיוני", "סותר את הידע המדעי" וכד', אלא התמקדתי בדרכים להגיע למחקרים מבוקרים.
      אולי את טוענת שקיימים מחקרים איכותיים נוספים שתוצאותיהם אחרות, אבל שוב, לא טענתי שתחקיר זריז כזה יספק את האמת המוחלטת, אלא רק ידליק נורות אזהרה אדומות.
      אם במהלך תחקיר כזה הרוב המכריע של המחקרים שאני נתקל בהם מצאו כי הטיפול אינו יותר מאשר פלצבו, הנורות שלי נדלקות.

      2) הפרכה ואישוש אינם סימטריים. כמה מחקרים טובים יכולים להפריך אמונות של אלפי שנים, וזה מה שקורה בד"כ בתחום האלטרנטיבית.

      3) אתרי רפואה משלימה אינם מקור למידע מחקרי איכותי, אלא לסיפורי אגדות, אנקדוטות אישיות וכשלים לוגיים למינהם, כפי שהניסיון חוזר ומדגים. לכן אין דין אדם שפונה לקריאת סקירות מחקריות בתחום כדין אדם שמעיין באתרים אלטרנטיביים.

      4) קופות החולים מסבסדות טיפולים חסרי תועלת מטעמים עסקיים. אני בכלל לא בטוח שרופאי המשפחה טרחו לבדוק אי פעם יעילות של כל מיני טיפולים קיקיוניים. ובכל מקרה, חלק מהאתרים שציינתי נכתבים/נערכים ע"י רופאים (SBM למשל).

      מי שמעוניין לבדוק את הדברים יותר לעומק מוזמן כמובן. המטרה היתה לתת קריאת כיוון. כפי שנאמר וסוייג שוב ושוב.

      אהבתי

      להגיב

  3. הביקורת שלי על השיטה הזאת היא בדיוק על כך שהיא מוגדרת כקריאת כיוון.
    אם אדם מתחיל לבדוק כך, הוא לא יגיע לחקור באופן מעמיק משום ש"נורות האזהרה" יסנוורו אותו, רק בגלל שקרא כמה דעות מוטות של אנשים.

    למה עדיפה דעה של ספקן כלשהו על דעה של אלטרנטיבי כלשהו? לא רואה שום עדיפות בהטיה כזאת על אחרת. אם כבר אז ללכת ישר למחקרים.

    אם אתה אומר ששיטת החיפוש הזאת מיועדת למי שלא מסוגל לחפש בעצמו מחקרים, אז השיטה שהצעתי (להלן ללכת לרופא המשפחה או לקופות חולים ולשאול, ומותר גם לשאול שאלות קשות) עדיפה.

    "כמה מחקרים טובים יכולים להפריך אמונות של אלפי שנים" כן, אם הם טובים. ושנינו יודעים כמה זבל והטיות יש גם במחקרים, שלא לדבר על כך שיש פרקטיקות קונבנציונאליות דראסטיות, מזיקות וחסרות תועלת – אפילו כתבת על אחת או שתיים כאלה במאמרים על פלצבו.

    ובכלל בחלק מהתחומים של הרפואה המשלימה בכלל לא נעשו מחקרים, וקביעת הדעה הספקנית מתבססת על "זה בולשיט כי רפואה משלימה זה בולשיט" לא יותר.

    אהבתי

    להגיב

    • ניכר שפיספסת לגמרי את רוח הכתבה.
      האלגוריתם לא מנסה למצוא "דעות" לגבי שום דבר, אלא ראיות מחקריות. מה לעשות שאתרים כמו science based medicine ואפילו ויקיפידה, נוטים להפנות למחקרים יותר איכותיים מאשר "ריפוי קוונטי מלא ומיידי".

      בדוגמה על פרחי באך למשל, דילגתי על שני אתרים, היות ולא סיפקו מידע מחקרי נוסף:
      "ב-QuackWatch וב-SkepDic סוקרים רק את "הפילוסופיה" שמאחורי הטיפול, ללא מידע מחקרי נוסף."
      מטרת האלגוריתם הזה היא להוביל מהר ככל האפשר למחקרים בתחום, לא לדעות.

      הכתבה מיועדת למי שמתקשה, או לא מיומן בחיפושים כאלה. לא למי שלא מסוגל בכלל, כפי שהיא אינה מיועדת למי שאינו יודע אנגלית. והתיחסתי גם לזה במפורש.

      זה שיש מחקרים יותר ופחות איכותיים אני יודע, אבל אני לא רואה איך זה מאוד רלוונטי להדלקת נורות אזהרה (אם אין מחקרים איכותיים, המצב גרוע בכל מקרה). לפחות בחלק מהמקורות אליהם הפניתי, מתייחסים גם לאיכות המחקרים.

      Liked by 1 person

      להגיב

      • לא חושבת שפיספסתי.

        אחרי שאתה קורא את תקצירי הדעה באתרים שציינת אתה מגיע *בסוף* למחקרים – אז קודם לעסו לך טוב טוב שהכל בולשיט ואז מציגים לך רשימת מחקרים שאין שום מידע לגבי האיכות שלהם. ורוב האנשים בכלל לא יטרחו לפתוח את המחקרים.

        אכן כפי שציינת לגבי פרחי באך "ב-QuackWatch וב-SkepDic סוקרים רק את "הפילוסופיה" שמאחורי הטיפול, ללא מידע מחקרי נוסף". – במקרים של טיפולים אחרים לעומת זאת הם מציינים לך יחד עם המחקרים בתחום (אם קיימים) עוד מאמרי דעה של ספקנים דגולי שם ודעתם על כל העניין.
        אם זו לא הטיה אני לא יודעת מה כן.

        לגבי חיפוש ב- Google של שם הטיפול + אחת מהמילים הבאות: skeptic, hoax, fraud, quackery, debunked – מציעה לך לחפש את המילים: "Chemotherapy quackery"
        אני בטוחה שזה ידליק לך המון נורות אדומות…

        בקיצור – אם המטרה היא להביא את הקורא למצוא כמה שיותר מהר את המחקרים האיכותיים בתחום – כל מה שצריך לעשות זה לכתוב רשומה שמפרטת לגבי אתרי מחקרים כאלה ולהדריך איך מחפשים שם ואיך בוחרים מחקרים אמינים, במקום לשלוח את הקוראים לאתרי ספקנות מילטנטיים שכל מה שמעניין אותם זה להכניס לך למוח דעה מסויימת.

        אהבתי

        להגיב

        • מהתגובות שלך יכול לעלות הרושם שיש שלל טיפולים אלטרנטיביים שנחקרו, ונמצאו יעילים יותר מפלצבו / החלמה טבעית / פרשנות סובייקטיבית של המעורבים בטיפול…
          אני לא רוצה ליפול במלכודת ההכללה, אבל באמת שאני מתקשה להיזכר בכאלה.

          אהבתי

          להגיב

          • זה לא קשור. מדובר על שיטת החיפוש והיא מוטה.

            אם המטרה היא להגיע למחקרים אמינים (ולא משנה כרגע אם יש כאלה או מה התוצאה שלהם) יש דרך קצרה ויעילה לעשות את זה בלי לעבור דרך דעות של אנשים.

            אהבתי

            להגיב

              • כתבתי מהי הדרך:

                "בקיצור – אם המטרה היא להביא את הקורא למצוא כמה שיותר מהר את המחקרים האיכותיים בתחום – כל מה שצריך לעשות זה לכתוב רשומה שמפרטת לגבי אתרי מחקרים כאלה ולהדריך איך מחפשים שם ואיך בוחרים מחקרים אמינים, במקום לשלוח את הקוראים לאתרי ספקנות מילטנטיים שכל מה שמעניין אותם זה להכניס לך למוח דעה מסויימת."

                אהבתי

                להגיב

            • ומלבד זאת, מדובר בשיטת חיפוש שנועדה לעזור להתמצא בעולם שמוצף בהבלים, שרלטנים ומוכרי סיפורים והזיות למינהם.
              בעולם כזה, אתרים כמו אלה שציינתי, שזהו עיסוקם המרכזי, יכולים להיות מקום שכדאי מאוד לבקר בו, ולכן דרך החיפוש הזו מאוד רלוונטית בעיני, לתחום הבעייתי הזה.

              אהבתי

              להגיב

              • אתרים כמו אלה שציינת מתאמים לראיית העולם שלך אולי בגלל זה אתה לא רואה את ההטיה.

                אם כמו שהצהרת באחת התגובות, זה מה שניסית לכוון אליו:
                "האלגוריתם לא מנסה למצוא "דעות" לגבי שום דבר, אלא ראיות מחקריות."
                אז תכתוב רשומה על איך מוצאים מחקרים כאלה במקור ולא באתרי דעה.

                אהבתי

                להגיב

  4. קודם כל תודה על השיתוף – Thank you for sharing. אני עושה דברים דומים אז שנינו טועים (או תועים?) באותה הדרך.

    עקרונות של מידענות, שלא בהכרח קשורים לחיפוש אלטרנטיבי, עוזרים גם הם, למשל:

    1) אופרטורים בגוגל, כמו and, or, def: – כדאי להעיף מבט http://www.googleguide.com/print/adv_op_ref.pdf

    2) ספציפית info:site (או id:) יתן מידע על האתר. אם האתר אומר על עצמו שהוא אתר קונסיפירציות, ראה הוזהרת!
    נסו למשל בשביל התרגיל
    id:http://www.emetaheret.org.il/

    3) בתוך ויקיפדיה תסתכלו על מונח מסויים בכמה הקשרים (במיוחד חשוב בראשי תבות למיניהם) – כדי להגיע לתופעה הנכונה

    4) נצלו את הקבוצה! שאלו אחרים (בפרטי אם אתם יודעים שהם מהתחום) ותקבלו Leads. גלעד צריך לשמור על פאסון אז הוא לא יכול לשאול יותר מדי (טוב, לא באמת, אני מושפע מאתר אמת אחרת מסעיף 2), אבל אנחנו כן!

    אהבתי

    להגיב

  5. רוב התרופות בעולם מקורן בצמחים ובחמרים מן הטבע. ממצים את החומרים, מוסיפים חומרי שימור במעבדה ומוכרים.

    אהבתי

    להגיב

  6. ויקיפדיה זו שרלטנות המאה. פשוט כלי פרופגנדה נציונאל סוציאליסט. לא פחות
    אם כבר קוראים, *חובה* לקרוא את דף הTalk בכל עמוד בכדי לראות את מה הם לא מפרסמים.

    הכלי הבסיסי שהופך אותה לפרופגנדה נטו זו הפוליסה הרשמית של ויקיפדיה –
    "ויקיפדיה היא לא מקור לאמת. ויקיפדיה מצוטטת אך ורק מקורות אמינים WP:RC וחובה לתת משקל לקונצנזוס WP:UNDUE".
    הבעייה מיד עולה בכל הנושאים "הבעייתיים" ובעלי המחלוקת.
    1. שכן "מקורות אמינים" בויקיפדיה הם אך ורק מקורות הקונצנזוס (גם רק תקשורת מרכזית ולא אלטרנטיבית).
    כלומר אתה לא יכול להביא טיעון שלא מאותם מקורות. אחלה מעגליות
    2. ואסור לפרט יותר מידי אפילו אם הטיעונים טובים, עמדה שהקוצנזוס לא תומך בה.

    אהבתי

    להגיב

    • לכן ויקיפדיה בהחלט אינו המקור היחיד שאני ממליץ עליו. (לעיתים מאוד קרובות מצאתי בה שלל קישורים איכותיים ורלוונטיים – ולכן כן מוצא אותה נקודת התחלה שימושית).
      מומלץ לשקלל את כל המקורות. אם כולם מצביעים על כיוון בעייתי, זה אמור להדליק נורות אזהרה, גם אם זה "רק" הקונצנזוס המדעי בתחום.

      אהבתי

      להגיב

  7. גלעד,
    תרשה לי לברך אותך על מתן כלים בסיסיים לחיפוש ראוי של נושאים בעיתיים וכן גם לשרון על הטיפים המעולים!
    לא כולם חייבים להסכים אבל בתור אחד שלמד תואר בביולוגיה ואתרים כאלו הם הכלי החזק ביותר שלנו והנדרש מאיתנו ביותר לאגיד לכל אלה שטענו שצריך ללמד איך לחפש שם שזה לא דבר פשוט גם לאחר עשרות קורסים ומאות שעות לימוד לגבי אתרים אלו אי עדיין רחוק מלשלוט בצורת חיפוש מלאה או אפילו מספקת עבורי.

    אהבתי

    להגיב

כתיבת תגובה