المشكلة في السياسات المبنية على الأدلة

ريكاردو هوسمان

في الوقت الحاضر، أصبحت منظمات عديدة، من الهيئات الحكومية إلى المؤسسات الخيرية ومنظمات الإغاثة، تشترط أن تكون البرامج والسياسات "مبنية على الأدلة". ومن المعقول أن نطالب بأن تكون السياسات مستندة على الأدلة وأن تكون هذه الأدلة جيدة قدر الإمكان، ضمن حدود زمنية وميزانية معقولة. بيد أن الطريقة المتبعة لتنفيذ هذا النهج ربما تتسبب في قدر كبير من الضرر، وتضعف قدرتنا على التعلم وتحسين ما نقوم به.
ويتمثل ما يسمى "المعيار الذهبي" الحالي لتحديد ما يشكل دليلاً جيداً في التجربة المنضبطة العشوائية (RCT)، وهي الفكرة التي بدأت في الطب قبل قرنين من الزمن، ثم انتقلت إلى الزراعة وأصبحت البدعة السائرة في الاقتصاد خلال العقدين الفائتين . وتستند شعبيتها على حقيقة مفادها أنها تعالج مشاكل رئيسية في الاستدلال الإحصائي.
على سبيل المثال، يرتدي الأثرياء ملابس فاخرة، فهل يتحول الفقراء إلى أثرياء إذا وزعنا عليهم ملابس فاخرة؟ في هذه الحالة لا يعني الارتباط (بين الملابس والثروة) وجود علاقة سببية.
ويحصل خريجو جامعة هارفارد على وظائف عظيمة، فهل هارفارد جامعة جيدة في التدريس ــ أو في مجرد اختيار الأذكياء الذين ربما يبلون بلاءً حسناً في حياتهم على أية حال؟ هذه هي مشكلة التحيز في الاختيار.
وتعالج التجارب المنضبطة العشوائية هذه المشكلة عن طريق التعيين العشوائي للمشاركين في التجربة لتلقي إما "العلاج" أو "الدواء الوهمي" (وبالتالي إنشاء مجموعة "تحكم"). ومن خلال مراقبة كيفية اختلاف المجموعتين بعد التدخل، يصبح من الممكن تقييم العلاج. وكانت التجارب المنضبطة العشوائية تستخدم لتقييم الأدوية، والقروض الصغيرة، وبرامج التدريب، والأدوات التعليمية، وأشكال أخرى لا حصر لها من التدخلات.
إذا افترضنا أنك تفكر في استخدام أجهزة كمبيوتر التابلت (كمبيوتر محمول ذو شاشة تقبل الدوران) كوسيلة لتحسين التعلم في المدارس، فإن التجربة المنضبطة العشوائية في هذه الحالة تتطلب اختيار نحو 300 مدرسة للمشاركة، على أن يتم تعيين 150 مدرسة منها عشوائياً لمجموعة التحكم التي لا تتلقى أي أجهزة تابلت. وقبل توزيع الأجهزة، يتعين عليك أن تقوم بإجراء ما يسمى المسح الأساسي لتقييم مقدار ما يتعلمه الأطفال في المدرسة. ثم تعطي أجهزة التابلت لمجموعة مدارس "العلاج" المائة والخمسين وتنتظر. وبعد فترة من الوقت، يتعين عليك أن تجري مسحاً آخر لكي تعرف ما إذا كان هناك الآن أي فارق في التعلم بين المدارس التي تلقت أجهزة التابلت وتلك التي لم تحصل عليها.
ولنفترض أن الفوارق لم تكن كبيرة، كما كانت الحال مع أربع من التجارب المنضبطة العشوائية التي وجدت أن توزيع الكتب أيضاً كان بلا تأثير. من الخطأ إذن أن نفترض أنك تعلمت أن أجهزة التابلت (أو الكتب) لا تعمل على تحسين مستوى التعلم. فكل ما تظهره تجربتك هو أن استخدام ذلك التابلت بعينه، مع ذلك البرنامج الحاسوبي بعينه، في إطار تلك الاستراتيجية التعليمية المعينة، لتعليم هذه المفاهيم بعينها لم يحدث فارقا.
ولكن السؤال الحقيقي الذي كنا نريد الإجابة عليه كان كيف يمكن استخدام أجهزة التابلت لتعظيم القدرة على التعلم. وهنا يصبح حيز التصميم ضخماً حقا، ولا تسمح التجارب المنضبطة العشوائية باختبار أكثر من تصميمين أو ثلاثة تصميمات في وقت واحد ــ وهي تختبرها بوتيرة بطيئة للغاية. فهل يمكننا أن نفعل ما هو أفضل من ذلك؟
لنتأمل التجربة الفكرية التالية: ماذا لو أضفنا إلى التابلت آلية ما لإبلاغ المعلم أولاً بأول بمدى جودة استيعاب تلاميذه للمواد التي تُدَرَّس لهم، وفي الوقت نفسه أتحنا للمعلمين حرية التجريب مع برمجيات مختلفة واستراتيجيات مختلفة وطرق مختلفة باستخدام الأداة الجديدة، في حين يساعد المردود السريع المعلمين في ضبط وتعديل استراتيجياتهم لتعظيم الأداء؟
بمرور الوقت، نستطيع أن نراقب بعض المعلمين الذين صادفوا استراتيجيات عالية الفعالية. ثم ننقل ما قاموا به إلى معلمين آخرين.
ينبغي لنا أن نلاحظ هنا الاختلاف الجذري الذي تتسم به هذه الطريقة. فبدلاً من اختبار صلاحية تصميم واحد بحمل 150 مدرسة من أصل 300 على تنفيذ برنامج مماثل، تعمل هذه الطريقة على "تمديد" حيز التصميم بجعل كل معلم يبحث عن النتائج. وبدلاً من إجراء مسح أساسي ثم مسح نهائي، تزودنا هذه الطريقة بمدد مستمر من المردود بشأن الأداء. وبدلاً من الاستعانة بخبير في الاقتصاد القياسي للقيام بعملية التعلم بطريقة مركزية ثم إبلاغ الجميع بنتائج التجربة، يتولى المعلمون تنفيذ عملية التعليم بطريقة غير مركزية ثم يبلغون المركز بما يتوصلون إليه.
من الواضح أن المعلمين سوف يخلطون بين الارتباط والعلاقة السببية عندما يقومون بتعديل استراتيجياتهم؛ بيد أن هذه الأخطاء سوف يتم الكشف عنها بسرعة لأن افتراضاتها الخاطئة لن تفضي إلى نتائج أفضل. وعلى نحو مماثل، ربما يحدث التحيز في الاختيار (فقد يكون أداء بعض الأماكن أفضل من غيرها لأنها تختلف بطرق أخرى)؛ ولكن إذا كانت السياقات المختلفة تتطلب استراتيجيات مختلفة، فإن النظام سوف يتوصل إليها عاجلاً أو آجلا. وهذه الاستراتيجية أقرب إلى التنفيذ الاجتماعي لخوارزمية التعلم الآلي وليس التجارب السريرية.
وفي الاقتصاد، كانت التجارب المنضبطة العشوائية البدعة السائرة، وخاصة في مجال التنمية الدولية، على الرغم من الانتقادات من قِبَل اقتصاديين مثل أنجوس ديتون، ولانت بريتشيت، وداني رودريك الحائزين على جائزة نوبل، الذين هاجموا المزاعم المبالغ فيها من قِبَل أنصار التجارب المنضبطة العشوائية. ويتمثل أحد أوجه القصور الخطرة في الصلاحية الخارجية. ذلك أن الدروس تنتقل بشكل رديء: فإذا توصلت تجربة منضبطة عشوائية إلى أن إعطاء المغذيات الدقيقة للأطفال في جواتيمالا يفضي إلى تحسين التعلم، فهل ينبغي لنا نعطي المغذيات الدقيقة لأطفال النرويج؟
مشكلتي الرئيسية مع التجارب المنضبطة العشوائية هي أنها تجعلنا نفكر في التدخلات، والسياسات، والمنظمات بطريقة غير صحيحة. ففي مقابل التصميمات الثلاثة أو ما إلى ذلك التي تم اختبارها ببطء بالاستعانة بالتجارب المنضبطة العشوائية (مثل وضع أجهزة التابلت أو اللوحات المتحركة flipcharts في المدارس)، تنطوي أغلب التدخلات الاجتماعية على الملايين من احتمالات التصميم والنتائج اعتماداً على تركيبات معقدة بينها. ويؤدي هذا إلى التعقيد الذي أطلق عليه العالِم ستيوارت كوفمان وصف "مشهد اللياقة الوعِر".
إن التوصل إلى التركيبة الصحيحة من العوامل المتغيرة أمر بالغ الأهمية. ويستلزم هذا أن تقوم المنظمات بتنفيذ استراتيجيات تطورية تقوم على تجربة طرق مختلفة والتعلم بسرعة حول الأداء من خلال حلقات المردود السريعة، كما يقترح مات أندروز، ولانت بريتشيت، ومايكل ولكوك من مركز هارفارد للتنمية الدولية.
الواقع أن التجارب المنضبطة العشوائية قد تكون ملائمة للتجارب السريرية على الأدوية. ولكن في مجموعة واسعة بشكل ملحوظ من مجالات السياسات العامة، كان تأثير حركة التجارب المنضبطة العشوائية يعادل تكليف مدققي الحسابات بالمسؤولية عن إدارة قسم البحث والتطوير. وهذه هي الطريقة الخاطئة لتصميم الأشياء الناجحة. ولن يتسنى لنا تسريع عجلة التقدم إلا من خلال خلق مؤسسات قادرة على تعلم كيفية التعلم، كما فعل ما يسمى التصنيع الرشيق في عالم الصناعة.

وزير التخطيط الأسبق في فنزويلا،