"אימא", פנתה אלי בתי ערב אחד, "אימא, מה זו ההערכה הזו שאת עושה כל הזמן?" "הוי", נאנחתי. "קשה להסביר. מה […]
פרק א
הוויכוחים הגדולים: ההקשר החברתי-היסטורי של ההערכה
א. קפיטליזם ואינדיבידואליזם או מי קובע את סדר היום
"אימא", פנתה אלי בתי ערב אחד, "אימא, מה זו ההערכה הזו שאת עושה כל הזמן?"
"הוי", נאנחתי. "קשה להסביר. מה פתאום את שואלת?"
"המרצה שלנו למדיניות ציבורית אמרה לנו היום שההערכה היא מקצוע חתרני. הערכה היא מקצוע חתרני?"
"כמו בכל דבר בהערכה, תלוי את מי שואלים", עניתי.
"נו, אימא, באמת. די כבר עם החוכמות שלך. אז מה זו הערכה? ובלי התחכמויות".
"כמה זמן יש לך?" ניסיתי עוד ניסיון התחמקות.
"מעכשיו ועד סוף החיים. רק תתחילי כבר. תתחילי מהתחלה. יש לי סבלנות".
"הערכה", אמרתי לה, "היא בתם החוקית של הקפיטליזם והמודרניות, שגדלה והתחנכה בתוך התרבות הביורוקראטית של המאה העשרים".
"מאד לא מבטיח", ענתה לי היא. "נשמע מרובע לאללה. מודרניות, קפיטליזם, ביורוקרטיה, איפה כאן החתרנות?"
"הרי אם מדובר בחתרנות, לא מדובר במשהו גלוי. בשביל לחשוף את החתרנות צריך להבין את הזהות המורכבת של ההערכה, ממה היא מושפעת, על מה היא משפיעה, ואיך, אם בכלל היא מצליחה לשמור על עצמה כתחום ייחודי".
images.jpg
"נשמע לי גיל ההתבגרות קלאסי", צחקה בתי. "כל השאלות של 'מי אני? מה אני? איפה אני ביחס לאחרים?' אז כדי שיהיה לי קל להבין, אפשר לרדת לגן הילדים? ליחסים המוקדמים עם ההורים?"
"ואת ממש מורשת של הפסיכולוגיזם הפוסט מודרני", סנטתי בה. "טוב נלך להורים. הוריה של ההערכה, הותירו לה, כל אחד בדרכו, מורשת שהיא מקור לוויכוחים רבים ומרים".
"כמו בכל משפחה טובה", אמרה בתי.
"אביה של ההערכה, הקפיטליזם, יחד עם אחיו התאום, האינדיבידואליזם, נולדו בעקבות או במקביל לשינוי חברתי גדול, בעקבות המהפכה התעשייתית".
"אימא! לא ביקשתי את כל השושלת מאז אדם וחווה!" נזדעקה בתי. "עד שם את הולכת?"
"אמרת שיש לך זמן עד סוף החיים? אז תקשיבי".
"טוב", גִלגלה בתי את עיניה לשמים, "תמשיכי".
"אז כמו שאת יודעת, לפני המהפכה התעשייתית אנשים חיו בשלושה מעגלים סגורים למדי. המשפחה הגרעינית, המשפחה המורחבת והקהילה המקומית[1]. בלי תחבורה מסודרת ובלי פייסבוק, מעט מאד היה ידוע על מה שקורה מחוץ למעגלים האלה. המשפחה והקהילה דאגו לפרטים שבתוכם בתהליכים של ערבות הדדית. היום אני דואגת לך, מחר את תדאגי לי".
"לא הייתה להם ממשלה למחות נגדה? איזה שעמום. אבל ברצינות, הם היו מאד תלויים אחד בשני, וזה גם נתן הרבה כוח למשפחה ולקהילה".
"נכון. וזה היווה בעיה למדינות שרק החלו לצמוח. הן היו צריכות להתחרות בקהילה ובמשפחה, וכך, אם נקצר מאד סיפור מורכב, צמח האינדיבידואליזם. אנשים התחילו להאמין שיותר טוב להם כשהם אדונים לעצמם".
"אבל היחידים האלה היו צריכים מישהו שידאג להם במקום המשפחה או הקהילה? לא ככה?" שאלה בתי.
"בדיוק ככה. וכתוצאה מזה קמו כל מיני גופים ממשלתיים ואחרים שדאגו ליחידים. לחלקם אנחנו קוראים היום 'משרדי ממשלה חברתיים', משרד החינוך, הרווחה וכו'. אבל גם קמו גופים פילנתרופיים חזקים, כמו כל העמותות בעולם ובארץ, וגם יחידים שתורמים כמו ביל גייטס או וורן באפט. כל אלו ממלאים את מקום הקהילה.
המהפכה התעשייתית צמחה אמנם באירופה, אבל ההערכה ככזו נולדה בארצות הברית, כנראה משום שהמגמות של הקפיטליזם והאינדיבידואליזם היו הרבה יותר חזקות שם. ההערכה נולדה מתישהו בשנות השלושים של המאה הקודמת[2]."
"ישר לתוך המשבר הכלכלי הגדול. ועוד עם אבא קפיטליסט. מעניין. ומה זה אומר?" המשיכה בתי, ספק צינית ספק מתעניינת.
"זה אומר שבמצב המורכב הזה היו להערכה כמה תפקידים. לכאורה, אם עוסקים בקפיטליזם, השאלה שמתבקשת היא 'לאן הולך הכסף?' כלומר שאלה של עלות תועלת של תוכניות. האם התוצאות מצדיקות את הכסף שמשקיעים בהן".
"טוב זה טריוויאלי. לא חתרני ולא נעליים", אמרה בתי מאוכזבת משהו.
"כן. אבל זה רק על פני השטח", עניתי לה, "למעשה יש כאן יותר מזה".
"מה למשל?"
"התפקיד שנתן להערכה הסנדק שלה, רלף טיילר, זה שנתן לה את שמה, היה למעשה לבחון האם הסוכנויות הפורמאליות, ובמקרה של טיילר – מערכת החינוך – עושות את מה שהן צריכות לעשות[3]. מכיוון שהערכה בוחנת את תפקודן של סוכנויות מתערבות רבות ושונות, אפשר לומר במילים גבוהות שתפקידה החברתי של ההערכה הוא לבחון את קיום החוזה שבין אותן סוכנויות, ממשלתיות, עירוניות או אף פרטיות, לבין הנזקקים לשירותן, ובניסוח אחר: את ההקצאה (הראויה) של המשאבים החברתיים".
"הקצאה ראויה של משאבים חברתיים", חזרה אחרי בתי בטון של חשיבות. "זה כבר מתחיל להישמע חתרני. כמעט. אז מה המשמעות המעשית של המילים המפוצצות האלה?"
"או, כאן בדיוק מתחיל הוויכוח. מה המשמעות המעשית של המילים המפוצצות האלה? כולם יסכימו שצריכה להיות 'הקצאה ראויה', אבל מה זה 'ראויה'? מי קובע? ההחלטה מה ראוי ומה איננו ראוי היא החלטה ערכית, אידיאולוגית, דתית או פוליטית. אין לה קני מידה אובייקטיביים. וכאן אנו נכנסים למאבק כוח לא פשוט בסוגיה מי קובע. מי קובע מה יוערך, איך יוערך, ועל פי אלו קני מידה".
"זה כמו שכולם רוצים שלום", אמרה בתי מהורהרת, "אבל כשמתחילים לצייר את המפות של השלום הזה אף אחד לא מסכים עם אף אחד".
"אלא שלהערכה היה כוח לקבוע, באמצעות השאלות שהיא שואלת, ובאמצעות הנושאים שהיא מחליטה להסתכל עליהם. הממשלות בארצות הברית וקנדה, ומיד אחר כך גם באירופה לא שמחו עם הכוח הזה של ההערכה, ואז הן עשו מה שעושה כל הנהלה חכמה עם ועד עובדים חזק מדי – קואופטציה. צירוף הועד להנהלה. הממשלות החליטו שחייבת להיות הערכה על כל פרויקט ממשלתי[4], ובכך שינו את נקודת המבט של המעריכים. במקום שיסתכלו מה
עושה הממשלה, כעת הם יוצאים בשירות הממשלה לראות מה עושים אלו שמבצעים בשמה מדיניות, תוכניות ופרויקטים".
"וואו, איזה צעד מתוחכם".
"כן ולא, כי זו חרב פיפיות. לכאורה המבט הוא על המבצעים, אבל מדי פעם מתהפכת המראה ומראה גם את מי ששלח אותם. ובכל מקרה, מכיוון שאלו זרועות מבצעות של הממשלות, גם הממשלות נמצאות תחת ביקורת, אם כי לא ישירה".
"אני מבינה. אם ישראל יוצאת במקום לא טוב במבחנים הבינלאומיים, אז כולם צועקים שהמורים לא טובים, אבל משרד החינוך בכל זאת נמצא בלחץ".
"נכון. אז האבא של ההערכה, הקפיטליזם עם אחיו האינדיבידואליזם הורישו להערכה ויכוח גדול לא פטור אחד. הוויכוח שעוסק במהות שאלות ההערכה, מי קובע אותן, ואת מי או את מה ההערכה בסופו של דבר משרתת".
"ומה הדעות המרכזיות?"
"יש תפישות שטוענות שההערכה משרתת בעיקר את עצמה[5], שאף אחד עוד לא הוכיח שהיא באמת תורמת או מוסיפה משהו לגוף המוערך או לחברה. שהיא בעצם ריטואל שנעשה כי 'צריך'".
"את לא מאמינה בזה?"
"אני חושבת שזו סכנה גדולה שצריך לשים אליה לב. שההערכה לא תהיה רק ריטואל. אני חושבת שההערכה צריכה לבחון את עצמה כל הזמן, מה היא עושה. אילו השפעות יש לה, וכדומה. להערכה יכולות להיות גם השלכות שליליות[6]. יש תחום שלם בהערכה שנקרא תוקף השלכתי שעוסק בזה. והכוונה היא להשפעות הישירות או העקיפות של עצם השימוש בהערכה; להשלכות של השימוש באופן מסוים של הערכה לעומת אופן אחר; או בהשלכות החברתיות, הארגוניות או האישיות של עצם השימוש בהערכה, במדידה או בבחינה. המבחנים הבינלאומיים הם דוגמא כזו. וההשפעה יכולה להיות חיובית או שלילית".
"אף פעם לא חשבתי שלהערכה יש כל כך הרבה כוח. בעצם, אם במקום
המבחנים רחבי ההיקף במערכת החינוך, היו מחליטים לבדוק באופן כזה את יחס האנשים לכלבים שלהם, אז כל תשומת הלב של המדיה ושל הציבור הייתה שם. כולם היו מתעסקים בכלבים, ובשאלה מה נחשב יחס טוב או יחס רע?"
"בהחלט. וזה כמובן נכון גם בקני מידה יותר קטנים. בתוך ארגון, קהילה או ישות מוערכת אחרת. וזה מביא אותנו לשאלה, את מה ההערכה משרתת? הערכה היא במידה רבה מעשה פוליטי. ראשית, משום שהיא נובעת ממדיניות; שנית, מכיוון שהיא מבטאת מדיניות; שלישית, מכיוון שהיא מזינה מדיניות[7],
רביעית, משום שמשחק פוליטי והשפעות של יחסי כוחות פוליטיים הם חלק בכל פעולת הערכה, וגם מכיוון שלאופן שבו היא נעשית ולקריטריונים שלה יש השפעה גדולה על המוערך".
"ואני מניחה שמי שחושב שרק שיקולים מקצועיים יש שם הוא נאיבי או חולם?"
"אני חושבת שבפרקטיקה היומיומית של מעריכים הם בעיקר שוקלים שיקולים מקצועיים. הם לא תמיד רואים שהם כלי משחק בידי כוחות גדולים מהם. יש אדם חכם שכותב הרבה על הערכה, מייקל פטון[8], שטוען שהערכה אינה פוליטית כאשר לאף אחד לא אכפת מהתוכנית המוערכת; אף אחד אינו יודע על התוכנית המוערכת; כסף אינו מעורב וגם כוח וסמכות אינם שיקול".
"הגדרה נהדרת", צחקה בתי. "אני מתחילה לתפוש את הקסם שההערכה מהלכת עליך. יש בה מכל טוב. עושה רושם שלדעת לחבר שאלונים זה הדבר הכי פחות חשוב בעסק".
"עוד נגיע לשאלונים. חכי. אנחנו בוויכוח אחר לגמרי. השאלונים הם מאופרה אחרת. בינתיים אנחנו רק מנסות לפענח את התפקיד של ההערכה. את מה היא משרתת."
"וכל זה עדיין תחת הוויכוח הגדול של מי מחליט מה זו הקצאה ראויה של משאבים חברתיים? גם שאר הוויכוחים הם גדולים כאלה?" נראה שבתי התחילה להבין לאיזו ביצה נכנסה.
"כל אחד בדרכו הוא ויכוח גדול. אבל את יכולה לפרוש. את לא חייבת. לא
תיבחני על זה".
"לא. תמשיכי. זה מעניין".
"אחת השאלות החשובות בהקשר הזה של את מי ההערכה משרתת, היא האם היא משרתת מערכות רחבות כמו משרדי ממשלה, או האם היא משרתת את המוערך הקונקרטי".
"זה לא אותו דבר? זו לא אותה ההערכה?"
"זה כל כך שונה, כאילו מדובר בשני תחומי דעת שונים. ואולי זה המצב", עניתי לה. "תראי, יש פה השוואה שהכנתי עם קולגה לאיזה מאמר[9] אפשר להסתכל. לפעמים טבלה חוסכת אלף מילים"
images.jpg
"יש כאן ממש שתי השקפות עולם, לפחות ככה זה במבט שטחי", ציינה בתי.
"יש כאן שתי תפישות שונות לחלוטין על מהות העולם", הסכמתי איתה. "האחת, בטור הימני, רואה את הקביעויות שיש בעולם, את ההתפלגויות שניתנות לניבוי, ומנסה להבין אותן על מנת להשיג שליטה טובה יותר במערכת. השנייה רואה את העולם כפסיפס של שונויות תלויות הקשר ויחסיות, שקשה להסיק מאחת לגבי האחרות".
"אבל זה יותר מזה", אמרה בתי מקמטת את מצחה, "יש פה גם שתי השקפות שונות לגבי תפקיד ההערכה, האם היא צריכה לעזור ולשפר או האם היא צריכה לפקח".
"שתי הגישות רוצות לשפר, שתי הגישות רוצות לתמוך בלמידה.
האחת בשיפור ובלמידה של המערכתכולה, השנייה של חלקים שונים בתוך המערכת. לכן הן גם נקראות כך 'הגישה המבנית' (system agency) או 'הגישה ההומניסטית' (human agency)[10]. ההבדל ביניהן הוא בתפישה שלהן מי הוא הקליינט – מושא ההערכה, או מי שאחראי על מושא ההערכה. אבל את לגמרי צודקת שכאשר הקליינט הוא מי שאחראי על מושא ההערכה (למשל מנהל, כאשר המוערכים הם העובדים) – יש בהערכה אלמנט חזק של פיקוח".
"מרתק", אמרה בתי מהורהרת. "בואי נראה אם אני יכולה לראות את התמונה השלמה. במסווה של בדיקת ביצוע והשגת מטרות ששוות את הכסף שהושקע בהן, ההערכה בעצם בוחנת את קיום החוזה שבין המדינה וסוכנויותיה לבין מקבלי השירותים, או כפי שאת קוראת לזה 'הקצאה ראויה של משאבים חברתיים'. האפשרות לבחון את זה נותנת להערכה כוח להחליט באמצעות השאלות שלה והנושאים שאותם היא בוחנת, מה זו 'הקצאה ראויה', סוגיה שהיא מטבעה ערכית אידיאולוגית או פוליטית. על מנת להקטין את הכוח הזה, עשו להערכה קואופטציה לתוך המנגנונים הממשלתיים, אבל השאלה נשארה פתוחה, ורק קיבלה שינוי זווית קטן, או תרגום לשאלה אחרת 'את מי ואת מה ההערכה משרתת', שאלה של השקפת עולם שניתן לכנס אותה לדיכוטומיה של המערכת כשלם מול מרכיבי המערכת. לכאורה הבדל קטן בנקודת מבט, למעשה הבדל מהותי ביותר, מכיוון שהמערכת צריכה בעצם לדאוג לרכיביה כמו הקהילה והמשפחה בזמנו, ולכן נשארנו עם השאלה
'מי קובע' או 'מה מכתיב את סדר היום' של ההערכה, השאלות שלה והסוגיות שהיא בוחנת".
"יפה אמרת בתי. תלמידה למופת".
"וזה, אם אני זוכרת נכון, רק ירושה מהאבא והדוד. ויש לנו עוד גם אימא, לא?"
"יש גם אימא", אישרתי, "ויש גם המערכת שבתוכה גדלה והתפתחה. כל אחת מהן יצרה את הוויכוחים שלה".
ב. המודרניות והרציונאליות או מהי עובדה ומה עושים איתה?
"או קיי", אמרה בתי, "בואי נעבור לאימא".
"לאימא ולדודה", אמרתי, "האימא של ההערכה, המודרניות, ואחותה הרציונאליות, השאירו לה ויכוח גדול אחר. אבל בואי נתחיל מההתחלה".
"המהפכה התעשייתית!" קראה בתי.
"כן. בערך. התקופה של פירוק הקהילות, עליית החילוניות, שינוי תפישת הזמן מעבר והווה לכיוון העתיד, ובכלל החדרה של זמן אחיד ומדויק, והבידול בין המוסדות החברתיים".
"רגע", אמרה בתי, "זה גם מה שהביא את הקפיטליזם והאינדיבידואליזם, לא?"
"כן. בהחלט. היסטורית את צודקת".
"אז למה לא להתחיל מכאן? למה מהקפיטליזם?"
"כי אני חושבת שהויכוח שהביא איתו הקפיטליזם לגבי מהות ההערכה ותפקידה בשאלת השאלות הגדולות…"
"הקצאה ראויה של משאבים חברתיים", התפרצה בתי לדברי.
"נכון. ולגבי מי קובע את סדר היום של שאלות ההערכה הגדולות, הוא ויכוח יותר ראשוני מאשר הויכוח שהביאו המודרניות והרציונאליות".
"ומה הביאה רציונאליות?"
images.jpg
"הרציונאליות הביאה את החשיבה הרציונאלית", התבדחתי.
"אי אפשר איתך", התכעסה בתי. "נו, בבקשה".
"הרציונאליות ניתקה את הקשר שבין הסברים פרטיקולאריים, דתיים, מיסטיים או אידיאולוגיים לבין הסברים אוניברסאליים, מנותקים מהקשר, שנשענים על לוגיקה ועל עובדות. הרציונאליות טוענת לאוטונומיות התבונה".
"הופה! אוטונומיות התבונה. וזה מה?"
"זו היכולת של האדם להבין את עצמו ואת העולם הסובב אותו מבלי לשאוב את הסמכות לידיעה מן האל, או מסמכות חברתית או תרבותית אחרת, אלא באמצעות שימוש נכון בלוגיקה, בכללים, בכלים מדעיים, במידע ונתונים מבוססים, שנבחנים בשיטתיות. וזו כמעט הגדרה של הערכה, וגם של מחקר".
"ומה ההבדל ביניהם? יש בכלל?" שאלה בתי.
"לדעתי יש כמה הבדלים מהותיים. אבל זו אופרה אחרת, שאם תרצי נדון בה בנפרד. כעת נחזור לאופרה שלנו".
"השאלונים?"
"רגע. לא כל כך מהר. ראשית בואי נבין מה התפקיד החברתי של ההערכה בהקשר הזה של המודרניות והרציונאליות".
"אני מקשיבה בסבלנות".
"טוב, אז תפקידה החברתי של ההערכה בהקשר הזה, הוא לבחון את הקיים באמצעות כללי פעולה וכללי חשיבה רציונאליים ומקצועיים, להתאים אמצעים למטרות, לתמוך בקבלת החלטות מושכלת מבוססת נתונים, ולעודד שימוש במידע לשם שיפור פעולות והתערבויות", דקלמתי טקסט שגור.
"רגע, רגע, רגע. יותר מדי מילים גדולות. תני לי להבין מה שאת אומרת כאן. אם במרחב הקפיטליסטי תפקיד ההערכה הוא לשאול שאלות, פה בעצם היא כבר נותנת תשובות? כלומר היא צריכה לתת תשובות לשאלות שהיא בעצמה שאלה?"
"כן. ולא סתם נותנת תשובות לשאלות שהיא בעצמה שאלה, אלא שיש לה תפקיד מחנך ומשמר. היא מלמדת את הסביבה להפעיל כלים רציונאליים, למשל, להחליט החלטות על סמך מידע מבוסס ונתונים. אבל גם ללמד מה זה נתונים. מתי לנתונים יש ערך, איך צריך לאסוף אותם, ובאילו כלים. איך מפרשים אותם, ומה ניתן או לא ניתן ללמוד מהם".
"כלומר שואלת את השאלות, נותנת תשובות, אבל גם מחליטה מה זו תשובה ראויה, ומה זו החלטה נכונה, או הדרך הנכונה לקבל אותה".
"אכן כך. אבל קחי בחשבון שהחשיבה הלוגית המסודרת מאפשרת לנו להתאים אמצעים למטרה, היא אינה מסוגלת לעזור לנו להכריע בין מטרה טובה למטרה רעה. גם כאן ההכרעה היא ערכית או פוליטית".
"טוב – " אמרה בתי, "יש לי הרגשה שאני מתחילה לנחש את הוויכוח הגדול הבא".
"נו?" דחקתי בה.
"אני מחברת את זה לכל הוויכוחים הנפוצים בקשר לאסטרולוגיה ותיאוריות ניו אייג' אחרות. אחרי שכבר החלטנו מה זו הקצאה ראויה, והחלטה ראויה, עולה כעת השאלה מה זו בכלל עובדה ראויה. האם העובדה שנוגה פגשה בנפטון, היא עובדה ראויה להשתמש בה בקבלת החלטות?"
images.jpg
"למה לא?" היתממתי, "אלפי שנים מאות מצביאים ומלכים ורוזנים קבלו החלטות על סמך עובדות כאלה. וגם כיום יש עוד מספיק אנשים בסביבה שעושים את זה".
"זה בדיוק העניין!" קראה בתרועת ניצחון, "מי מחליט מה זו עובדה ראויה? אני בטוחה שזה הוויכוח הגדול הבא".
"נכון. זה הוויכוח הגדול הבא. ויכוח שעוסק בשאלה מהי בכלל עובדה, ומהי הדרך הנכונה לעבד את אותן עובדות".
בתי הביטה בי בהמתנה.
"ובעוד שהוויכוחים על סדר היום ועל ההקצאה הראויה הם נסתרים, ומעט מאד מעריכים או מקבלי החלטות מודעים להם במלוא עוצמתם, הוויכוח האינסופי הזה הוא גלוי וחריף ורווי יצרים".
"הו", שפשפה בתי את ידיה בהנאה. "סוף כל סוף דם!"
"כמעט. כמעט. אולי לא דם, אבל צעקות, וחרמות ודה-לגיטימציה…"
"נו, ספרי כבר!"
"טוב. טוב. בקיצור, גילו של הוויכוח על הדרך היעילה או הנכונה לבצע הערכה הוא כגילה של ההערכה. נתחיל מזה שיש גישות רבות ומגוונות להערכה. לכל אחת דגשים אחרים, שיטת עבודה שונה ושאלות אחרות. למשל, לפי סדר א'-ב', כמה מן הגישות המקובלות[11]: הערכה בגישת המערכות, הערכה דמוקרטית, הערכה דמוית ניסוי, הערכה מונעת תיאוריה, הערכה מסכמת, הערכה מעריכה, הערכה מעצבת, הערכה מעצימה, הערכה משתפת, הערכה נטולת מטרות, הערכה ניסויית, הערכת פיתוח, הערכה רב/בין תרבותית, הערכה ריאליסטית – ואלו רק הבולטות שאני שולפת מהמותן. בוודאי שיש עוד".
"אתם עם מאד יצירתי, בלי ספק", חייכה בתי. "ואני מניחה שלכל אחת מהגישות האלה יש גם דעה אחרת בשאלה מה זו עובדה, ומה עושים איתה".
"בוודאי", אמרתי. "אבל לא רק למעריכים יש גישות שונות לשאלה הזו. גם לפוליטיקאים".
"פוליטיקאים? מילא בדיון על סדר היום, אבל בשיטות מחקר?"
"כן. הדוגמא הבוטה ביותר הוא הנשיא בוש הבן".
"מה קרה שם?"
"בימי ממשל בוש עלתה דרישה חד משמעית מעוגנת בחוק, שהמתודולוגיה המקובלת היחידה לביצוע ההערכה היא ניסויים מבוקרים בהקצאה אקראית (RC – Randomized Controlled Trials). מי שלא יעבוד בשיטה הזו – לא יקבל כסף[12]".
"וזה עבר בשלום?"
"לא ממש. כארבעת אלפים מעריכים וחוקרים בארה"ב חתמו על עצומה המתנגדת לכך[13]. חלק נכבד מהמעריכים בעולם רואים ב-RCT את מקור כל הרע שבתחום, בעוד אחרים אינם מוכנים לשמוע על שום דרך אחרת. הויכוחים בין שני הקצוות כמעט ואינם ניתנים לגישור[14]".
"אבל איך זה בכלל קורה שיש כל כך הרבה גישות? למה בעצם ההערכה כל כך מתפצלת?"
"שאלה טובה שאלת, בתי".
"אז תני תשובה טובה".
"הכל התחיל עם רלף טיילר, שנתן להערכה את שמה. אלא שרלף טיילר לא רק נתן להערכה את שמה, אלא הוא גם הבחין אותה באופן מהותי מכל מה שקדם לה".
"ומה קדם לה?"
"קדמו לה מערכות המדידה שהתקיימו במערכת החינוך מאז סוף המאה ה-19. מעבודות כמו של בינה, סטנפורד, גלטון וספירמן[15] ומדידות רחבות היקף שנעשו על ידי אנשי מדידה ופסיכומטריקאים מקצועיים[16]".
"ומה הוא ההבדל הגדול?"
"ההבחנה החשובה שעשה טיילר היא בדרישה שהמדידה צריכה להתייחס למטרות העשייה החינוכית".
"ומה מיוחד בזה? זה נראה טריוויאלי לגמרי".
"לא באותה תקופה. הבדיקות החינוכיות רחבות ההיקף שקדמו לטיילר היו ממוקדות שיטה".
"ממוקדות שיטה?"
"כן. הפסיכומטריקאים סיימו את האוניברסיטאות מצוידים במגוון ידוע של כלים, שאלות מחקר ושיטות שאותם הפעילו באופן מקצועי. ההכשרה שלהם הייתה טכנית. שיקול הדעת המקצועי שלהם היה בתוך אותה מסגרת ידועה. השאלות היו ידועות, ועסקו בעיקר במיון כזה או אחר של תלמידים, תוך התמקדות בהישגיהם. הכלים הותאמו לסוג המיון, וגם העיבוד של הנתונים היה במידה רבה נתון[17]. רלף טיילר טען שלא ניתן למדוד באותו סרגל את כל העשייה החינוכית כולה".
"או קיי. וזה אומר מה בעצם?"
"שלא שיטת המדידה מכתיבה את המהלך, אלא התוכנית. המשמעות הגדולה של השינוי הזה, כפי שאני תופשת אותה היא במתן יכולת החלטה למעריך וגם למוערך, לגבי הדגשים של עבודת ההערכה".
"שוב המעריך מקבל יכולת החלטה?"
"נכון".
"ואיך זה יוצר את ריבוי השיטות והדגשים ומלחמות המתודולוגיה?"
"כי השאלות שאותן בא המעריך לבדוק משתנות מתוכנית לתוכנית, בהתאם למטרות הייחודיות שלה. והיה צריך להתאים את כלי הבדיקה לשאלות שעוררו המטרות. ואז, בגלל הצורך, גם כלי הבדיקה התרחבו, וגם פרוצדורות הניתוח".
"חשבתי שהיחסיות שייכת לפוסט-מודרניות".
"ההערכה הקדימה את זמנה בהרבה דברים", חייכתי, "אבל באותה תקופה זו יחסיות בעירבון מוגבל. כיוון שבאותם ימים עדיין היה מדובר באנשים שהתמקצעו כפסיכומטריקאים, ועדיין היה מדובר באותם כלים ואותן פרוצדורות, אבל המעריך היה אחראי על השאלות. והשאלות הובילו את הבדיקה. ולא כלים ידועים לשאלות ידועות. וכשהשאלות מובילות את התהליך, המעריך חייב שתהיה לו גמישות רבה בארגז הכלים שלו".
"הפוך מהפתגם הידוע שמי שיש לו רק פטיש, כל היום תוקע מסמרים".
"בהחלט. באופן מעניין קרה תהליך מקביל גם בתחומים אחרים. מפעילים של תוכניות חברתיות וקהילתיות מצאו ששיטות המחקר הידועות לא מספקות
להם תשובות, והם החלו לחפש אלטרנטיבות שידעו להסתכל על הייחודיות של התוכנית שלהם[18]".
"רוח התקופה", סיכמה בתי.
"רוח התקופה", הסכמתי. "ומרגע זה, למעשה מיום שנולדה, הלכה ההערכה והתפתחה בכיוונים שונים, ולעיתים בלתי צפויים בעליל. חלו שינויים בהגדרות של הערכה, וגם בדרישות ובציפיות ממנה, והגבולות שלה הלכו והתרחבו".
"התרחבו עוד? איך למשל?"
"בהתחלה הייתה הדרישה לבדוק מטרות אופרטיביות. בשנות הששים כבר נדרשה ההערכה לעצב את התוכנית, ואף להתעלם ממטרות ולבחון רק תהליכים[19]. בשנות השבעים כבר הייתה דרישה לספק מידע שימושי למקבלי החלטות[20]–"
"שזה שוב נותן כוח למעריך. איזה מידע הוא מספק וכדומה", אמרה בתי בתרועת ניצחון.
"בהחלט כך", הסכמתי. "ובמקביל עלה הצורך להיות יצירתיים, על מנת להצליח להגיב לשונות הרבה שמציבים הפרויקטים השונים[21]. בשנות השמונים, עם ההתרחבות של התפישות הקונסטרוקטיביסטיות ציפו מהמעריכים לקחת בחשבון את כל מי שיכול להיות מושפע מפעולתה של תוכנית, באופן ישיר או עקיף, ולא רק את אלו ששייכים ישירות לתוכנית, את כל מי שיכול להיות מושפע מההערכה, להבנות מחדש את עולם המושגים ותמונת העולם עבור הקליינטים, ולהעצים אותם באמצעות הערכה[22]".
"'להבנות את עולם המושגים', זה כבר לגמרי שתלטני. ובשביל להעצים מישהו צריך להיות בעל עוצמה", העירה בתי.
"נכון. אבל כל זה לא רק שלא מנע את הויכוחים הפנימיים, והחיצוניים, אלא
עוד העצים אותם. ככל שההערכה נכנסה לעוד תחומים, כך רבו אי ההסכמות. והויכוח בין התפישות, בין אנשי המדידה שמוכנים לקבל רק תקפות סטטיסטית, לבין אנשי ההערכה שטוענים שיש לצאת מהעולם של המוערך, ושהמדידה הסטטיסטית איננה אמינה, גם אם היא נעשית היטב מכיוון שהיא מאבדת את התמונה האמיתית, הוא ויכוח ער שנמשך כבר עשרות בשנים, ועדין לא מוצה. אנשי ההערכה מחפשים תשובות טובות למתח שבין העולם המורכב שבו הם פועלים, לבין האמינות הגבוהה והאיכות המוכחת של עבודתם. והשאלות מה זו עובדה ראויה, מה זו הוכחה, ומה זה תהליך הערכה מוקפד הן שאלות שלכל אחד יש לגביהן תשובה אחרת[23]".
"את בעצם אומרת שהמגוון של הגישות להערכה, שיטות ההערכה, והתפישות המקצועיות של מעריכים הם עושר השמור לבעליו לרעה?" שאלה בתי.
"אני אומרת יותר מזה. אני אומרת שההערכה, מיום היוולדה, מיום שהוגדרה ככזו על ידי טיילר, מגיבה למציאות מוכתבת – כי הרי זה מה שטיילר רצה, שההערכה תגיב למטרות תוכנית, ולא תבוא עם כלים ושיטות מראש – והיא לא פועלת במעבדה, אז היא חייבת להיות גמישה. כלומר, אנשי ההערכה צריכים שתהיה להם יכולת מאד מגוונת. הם צריכים להכיר הרבה שיטות כיצד לאסוף, לעבד ולנתח נתונים, ולכן אני לא רואה שלויכוח הזה יהיה פעם סוף".
"אז למה מתווכחים בכלל?"
"הויכוח עצמו הוא חשוב. הוא מכריח את אנשי ההערכה לחשוב. מכריח אותם למצוא הצדקות. להשתכלל. זה ויכוח מר, אבל הוא דוחף את התחום קדימה".
ג. הביורוקרטיה של המאה העשרים, או מה צריך לדעת איש הערכה
"גמרנו עם אימא ואבא?" שאלה בתי.
"גמרנו עם אימא ואבא, פחות או יותר", אמרתי.
"והגענו לערש הגידול?"
"הגענו לערש הגידול", הסכמתי.
"ומה יש לך לספר לי על זה?" שאלה בתי, וניצוץ של משובה בעיניה.
"את בודקת כמה אני יכולה לדבר?" שאלתי אותה.
"הו, את זה אני כבר יודעת. אני מכירה אותך מילדות…" קִנטרה היא. "אבל תתחילי".
"טוב. ההערכה שגשגה בתרבות הביורוקרטית של המאה העשרים. לענייננו חשוב לזכור שהביורוקרטיה היא אימם הורתם של הארגונים המודרניים, כלומר, הגדרות תפקידים, חלוקת עבודה, התמחות והתמקצעות".
"הא, ביורוקרטיה", אמרה בתי מאוכזבת משהו. "מה לפקידות האפורה ולהערכה הרבגונית?"
"ביורוקרטיה זו לא רק פקידות אפורה. עקרונות הביורוקרטיה מכתיבים למעשה את כל אורחות החיים של העולם המערבי שאחרי המהפכה התעשייתית. תנסי למצוא דבר אחד שאת עושה בחייך שאין מאחוריו ארגון, חלוקת עבודה, תפקיד שדורש התמחות, ונורמות פורמאליות. אפילו התפקיד שלך כאימא של הילדים שלך הוא תפקיד חברתי, עם גבולות מוגדרים אפילו בחוק, של מה נכון, ומה מותר ומה אסור, ועם התמחות מסוימת, ויש קורסים וספרי הדרכה. ותחשבי עם כמה ארגונים, תפקידים מתמחים ובעלי מקצוע את נמצאת כל יום במגע, רק בהקשר הזה של להיות אימא לילדים שלך".
בתי ניסתה לעכל את מה שאמרתי. "בחיי", אמרה לאחר שתיקה. "לא חשבתי על זה ככה. אבל זה נראה כאילו הפוך מחוסר הגבולות והויכוחים של ההערכה, לא?"
"במידה מסוימת זה באמת ככה, ולכן זה מוביל לויכוח הגדול השלישי".
"שהוא?"
"סבלנות", אמרתי. "יש עוד כמה שלבים בדרך".
"נו, כמובן, אלא מה", נאנחה בתי.
"תראי, אם אנחנו מדברים על חלוקת עבודה ועל תפקידים מתמחים, ועל מקצועיות, אנחנו חייבים שיהיו לנו גם קריטריונים, נורמות וסטנדרטים, לכל אלה".
"כמובן", הנהנה בתי.
"ולכאורה זהו התפקיד המרכזי של ההערכה. כאשר מדברים על הערכה, על זה מדברים, על בדיקה שיטתית באמצעות כלי מחקר ידועים את העמידה בסטנדרטים ובקריטריונים. זה גם היה התפקיד שהוגדר לה על ידי הסנדק שלה, רלף טיילר".
"ומה השתבש?"
"למה את חושבת שהשתבש?"
"כי אחרת לא היה ויכוח נוסף. ואחרת זה לא היה מעניין".
"או קיי. אז כל זה מביא אותנו לויכוח המורכב השלישי, שעיקרו: האם הערכה היא מקצוע? והאם היא יכולה או צריכה להיות מקצוע"?
"עם כל הכוח לכאורה הזה – ועדיין יש שאלה אם הערכה היא מקצוע?"
"אם היא מקצוע, ואם היא בכלל צריכה להיות מקצוע. גם על זה אין הסכמה".
"ומה מונע ממנה להיות מקצוע?"
"ראשית, מקצוע דורש הסמכה".
"אה", אמרה בתי, "והסמכה דורשת הסכמה על מה צריך לדעת. ועם הויכוחים הקודמים אני כבר מתחילה לראות את הבעיה".
"יופי. אז נתחיל מזה שהגבולות של ההערכה מאד לא ברורים. למקצועות המסורתיים, למשל, הנדסה, הוראה או רפואה, יש הסמכות ברורות, ויש הגדרות חד-משמעיות. למשל ההגדרה של הרפואה היא 'הפחתה של חולי'[24]".
"למרות שהיום יש גם על הרפואה ויכוח. יש כל כך הרבה מקצועות רפואיים.
ומה עם הרפואה האלטרנטיבית למשל?"
"גם הרפואה האלטרנטיבית מוגדרת, אמנם על דרך השלילה: כל מה שמכוון להפחתת חולי, ואיננו רפואה קונבנציונאלית[25]. אני לא מאד אוהבת את ההגדרה הזו, אבל מה שחשוב שאת ההערכה קשה או אי אפשר להגדיר אפילו על דרך השלילה, כי אין הבחנות מספיק ברורות בינה לבין מקצועות דומים, כמו למשל, בין הערכה לבין יעוץ ארגוני; בין הערכה לבין מחקר; בין הערכה לבין מדידה או פסיכומטריקה; או בין הערכה לבין ביקורת פנים".
"אבל ההערכה משגשגת גם בלי הסמכה או הגדרה מקצועית ברורה. אז למה זה חשוב?"
"תראי, להגדרה המקצועית יש כמה תפקידים: גם להגדיר את התחום, וגם מי יכול לעסוק במקצוע, וגם מה טיב ההכשרה שעליו לעבור, ומהו הנוהג המקצועי הנכון. התנהגות שאינה הולמת את ההגדרות של המקצוע זוכה לעיתים קרובות בסנקציות, החל מאיסור עיסוק במקצוע, וכלה בתביעה פלילית. אבל כשמדובר בהערכה – הכל פרוץ[26]".
"כלומר הגדרה מקצועית נותנת כוח?"
"הגדרה של עיסוק מסוים כמקצוע, כפרופסיה, גם נותנת כוח וגם לוקחת כוח. כי כרגע לכאורה כל אחד יכול להיות מעריך ולעשות את ההערכה איך שהוא רוצה. ממצאים בארץ ובעולם מראים שרק בסביבות 20% מהמעריכים למדו הערכה באופן מסודר באוניברסיטה[27], כאשר כל אוניברסיטה מלמדת לפי הבנתה. אין הנחייה ברורה כמו לפסיכולוגים למשל".
"וכל השאר מאיפה באו?"
"כל השאר למדו בשדה, תוך כדי עבודה. וזה אומר שהידע שלהם מצומצם להתנסות שלהם. ויותר מזה, מעריכים מגיעים מכל תחומי הדעת האקדמאיים המוכרים, והם מביאים איתם את הסוציאליזציה המקצועית, את הגישה המחקרית, ואת התפישות האפיסטמולוגיות של המקצוע שממנו באו".
"איזה בלגן. אבל בכל זאת כשאת נוסעת לכנס של האגודה האמריקאית
להערכה, או האגודה האירופאית, או אפילו כאן בישראל, לכל האנשים שמגיעים ברור שהם מעריכים, לא?"
"לא. חלק גדול מהמעריכים, גם מאלה שמציגים בכנסים, מגדיר את עצמו לפי המקצוע שממנו בא[28]: עובד סוציאלי, פסיכולוג, סוציולוג, וכו'. גם זה מחליש את התחום".
"אני מבינה. ויתכן שאם ההערכה היית מוגדרת כפרופסיה, כל אלו לא היו מתביישים לקרוא לעצמם מעריכים?"
"סביר להניח. מצד שני, ההגדרה של ההערכה כפרופסיה מאיימת על המקצועות שקרובים לה, מכיוון שאז ההערכה מקבלת לגיטימציה שכיום אין לה, ויש להם על חשבונה. כל המקצועות שקרובים להערכה שהזכרתי קודם. אם תשאלי יועץ ארגוני, הוא יאמר לך שהוא עושה הערכה, ואם תשאלי פסיכומטריקאי, הוא בטוח שהוא עושה הערכה, אבל גם מקצועות אחרים".
"כמו חנות חדשה שנכנסת לקניון ויכולה לגנוב לקוחות לחנויות האחרות".
"יופי של דימוי. בדיוק ככה. וזה עוד לא הכל. יש עוד בעיות שהמצב הזה יוצר".
"הייתי צריכה לדעת", נאנחה בתי, "נו, והן?"
"מי כדאי שיעריך?"
"מעריך, לא?" שאלה בתי.
"כן. וכאן יש ויכוח על שני ממדים. האחד קשור ישירות לשאלת הפרופסיה, והשני קשור גם לויכוחים הקודמים, מי קובע את סדר היום, ומה זו עובדה ראויה".
"תתחילי מהראשון. נראה לי יותר פשוט".
"הראשון עוסק בשאלה 'מי כדאי שיעריך' איש הערכה מקצועי (שלא לגמרי ברור מהו), או אדם שבא מהתחום המוערך".
"כלומר?"
"למשל, אם מעריכים תוכנית לשילוב של נשים מנותקות בקהילה, מי כדאי
שיעריך? עובד סוציאלי שמתמחה באוכלוסיות מנותקות, או איש הערכה, שיודע הערכה, אבל הידע שלו באוכלוסיות מנותקות מוגבל?"
"שאלה טובה מאד", ציינה בתי, "כי איך אפשר להעריך משהו אם לא ממש מבינים בו?"
"ואיך אפשר להעריך משהו אם לא ממש יודעים הערכה?"
"תיק"ו – תשבי יתרץ קושיות ובעיות", אמרה בתי. "אבל מה את חושבת?"
"אני חושבת שעדיף איש הערכה".
"זה יכולתי לנחש. אבל למה?"
"מכיוון שאיש הערכה לא צריך לטפל באוכלוסיה של נשים מנותקות, הוא צריך להעריך את התוכנית שמטפלת בהן. לשם כך הוא צריך הרבה פחות ידע באוכלוסיות מנותקות, מאשר ידע בהערכה".
"כלומר, יותר קל לאיש הערכה ללמוד את כמות הידע הדרושה בשביל להעריך תוכנית שמתבצעת על ידי מומחים, מאשר למומחים ללמוד הערכה".
"נכון. הוא לא צריך להיות איש מקצוע באוכלוסיות מנותקות, אלו ישנם בתוכנית, והוא יכול תמיד להתייעץ איתם, או עם אנשי מקצוע חיצוניים. אבל הוא חייב להיות איש מקצוע בהערכה".
"אני מבינה. וכל זמן שאין הגדרה ברורה לאיש מקצוע בהערכה, אז כל עובד סוציאלי יכול לטעון שהוא מעריך, גם אם אין לו שום ניסיון או ידע בתחום".
"נכון".
"והסיבוך השני"?
"הויכוח האם מעריך צריך להיות מתוך המוערך, או דווקא מחוצה לו".
"מה זה משנה?"
"במקור, שירותי ההערכה בוצעו על ידי מעריכים מקצועיים שהגיעו מבחוץ – כמעריכים חיצוניים. אולם, העובדה שהמעריכים היו חיצוניים לישויות המוערכות ול"חיי היומיום" של המוערכים נתפשה כמגבלה".
"זה ממש חוזר לויכוח הקודם. איש מקצוע בתחום המוערך, או איש מקצוע בהערכה".
"זה חוזר על זה ומוסיף לזה מורכבות".
"כן. למה להשאיר דברים פשוטים, אם אפשר לסבך אותם?"
"אולי כי הם לא כל כך פשוטים?"
"טוב, טוב, לא התכוונתי להעליב. תמשיכי".
"האלטרנטיבה למעריך חיצוני היא מעריך פנימי[29] – מישהו מתוך, או יחידה בתוך המוערך. לכאורה פתרון פשוט, למעשה יש כאן הרבה קשיים".
"אם הוא מעריך מקצועי, למה קשיים?"
"להישענות על הערכה פנימית בלבד יש את הבעיות שלה. שואלים על הסובייקטיביות שלה, האמינות והמקצועיות. הפילוסוף הגדול של ההערכה, מי שטבע הרבה מושגים חשובים, מייקל סקריבן, כתב על הסוגיה הזו כך. בואי תראי:
החליפין בין חיצוני לפנימי הם בערך כדלהלן: המעריך הפנימי מכיר את התוכנית טוב יותר ולכן נמנע מטעויות שנובעות מבורות, מכיר את האנשים טוב יותר ובשל כך יכול לדבר איתם יותר בקלות, יהיה שם אחרי שההערכה תסתיים ולפיכך יכול לסייע ביישום, קרוב לוודאי מכיר את הנושא טוב יותר, ועולה פחות.
המעריך החיצוני עשוי פחות להיות מושפע על ידי שיקולים אישיים או שנוגעים לרווח בעבודה, הוא לעתים קרובות טוב יותר בהערכה, סביר שבחן מקרוב תוכניות דומות בנות השוואה, יכול לדבר יותר בכנות מאחר שיש פחות סיכון שיאבד את עבודתו, פגיע פחות להתנגדות על רקע אישי, ונושא מידה מסוימת של יוקרה שמקורה בחיצוניותו[30].
ויש עוד עניין חשוב. מעריך פנימי מתקשה להעריך את אלו שגבוהים ממנו בהיררכיה, מצד שני הוא רגיש יותר לצרכים הפנימיים ויכול לשאול את השאלות החשובות למוערך".
"אז איך מחליטים?"
"יש כל מיני פתרונות לעניין שעיקרם אופנים שונים של שיתוף פעולה בין חיצוניים לפנימיים[31], אבל ברוב המקרים זה עניין של תפישת העולם של המוערך".
"אז עם כל הבלגן הזה, למה לא להפוך לפרופסיה? מה אומרים המתנגדים?"
"זה ויכוח שנמשך כבר יותר משלושים שנה[32]. וההתנגדויות נובעות מכמה סיבות. חלקן טכניות, כמו, מי יחלק את הרישיונות לעסוק במקצוע, איך יפקחו, ומי יפקח. וחלקן תוכניות שטוענות שמעריכים מגיעים ממקצועות שונים גם הסוציאליזציה שלהם למקצוע היא שונה, גם תוכניות ההכשרה המעטות שישנן שונות זו מזו, וכל החלטה על גוף ידע אחד ואחיד, תחנוק למעשה את המקצוע[33]. יש כאלה שטוענים שחבל על המאמץ, מכיוון שלציבור אין כמעט דרך לבדוק את טיב ההסמכה[34], ומחקרים אינם מאוששים את הטענה שהסמכה מגינה על הפרופסיה[35]".
"בקיצור מעדיפים את הבלגן?"
"לא כולם. אבל כן. התחושה היא שהידע שנדרש ממעריכים הוא כל כך מגוון, רחב ותלוי תחום, שאי אפשר להחליט על קריטריונים וסטנדרטים אחידים. היו כאלה שניסו, ועשו עבודות ארגון מעניינות[36], אבל לא הצליחו להגיע לכלל הסכמה".
"אני רוצה לראות אם בגדול הבנתי את מקור הקושי", אמרה בתי. "הערכה למעשה שייכת למרחב הציבורי שלנו. היא חלק מהשפה, מהתרבות, ובעיקר מהתרבות הארגונית שלנו[37]. זה לא עושה לה את החיים קלים, מכיוון שהיא צריכה כל הזמן לשמור על הגבולות שלה כתחום ייחודי, שלא תיטמע ותתמסמס בתוך מקצועות ותחומי דעת דומים. מצד שני היא לא יכולה להתרחק מדי, כי היא רוצה להשפיע, ובכל הרמות".
"כל הכבוד", אמרתי. "ומצד שלישי, מכיוון שהיא תוצר של הקשרים חברתיים, תרבותיים ופוליטיים, הם גם מבנים אותה, וגם משנים אותה כל הזמן, וגם זה לא עוזר להגדרה יציבה של התחום".
"וזה בטח לא עוזר לאנשים בתוך התחום – למעריכים – להגדיר לעצמם את העשייה של עצמם", אמרה בתי.
"נכון. על זה בדיוק דיברנו, על הקושי המהותי להחליט על קריטריונים וסטנדרטים אחידים לתחום".
"אין ידע חד-משמעי וברור שמעריכים צריכים לדעת. את זה הבנתי. אבל מה יש לך להגיד על הידע של המעריכים?" שאלה בתי בחיוך מאתגר.
"לא היום", עניתי לה. "אני כבר צרודה. ובכלל זה נושא כל כך גדול שצריך להקדיש לו ערב שלם".
"אני אבוא לדרוש את החוב" הבטיחה. ואני חשבתי שעד שתגיע הביתה כבר תשכח.
אין עדיין תגובות