لقد أخطأ الخبراء بشكل كارثي ، وفقًا لدومينيك كامينغز ، كبير مستشاري رئيس الوزراء البريطاني السابق بوريس جونسون. جادل كامينغز أن النصيحة العلمية الرسمية لحكومة المملكة المتحدة في مارس 2020 أساءت فهم كيفية حدوث الوباء ، مما أدى إلى تأخير في الإغلاق الذي أودى بحياة الآلاف.

وفقًا لكمينجز ، كان بعض المتخصصين الذين لديهم معرفة أقل بالأوبئة أو الطب - مثل عالم البيانات بن وارنر ، وباحث الذكاء الاصطناعي ديميس هاسابيس من شركة ديب مايند ، وعالم الرياضيات تيم غاورز - هم الذين قدموا تنبؤات أكثر دقة في هذه المرحلة.

ومن المعروف أيضًا أن كامينغز هو أ مروحة of فائق السبق من تأليف فيليب تيتلوك Philip Tetlock ، وهو كتاب عن الأشخاص الذين يتوقعون الأحداث المستقبلية بشكل أكثر موثوقية من غيرهم. بعض أجهزة البث الفائقة وقد تم الإشادة لتنبؤاتهم حول الوباء ، بينما كان الآخرون كذلك ينتقد الخبراء سجل.

إذن ، هل ينبغي للحكومات أن تستخدم بشكل أكبر أجهزة البث الفائقة بدلاً من الاعتماد على الخبراء العلميين؟ الأدلة ليست بهذا الوضوح. ولكن يبدو أن هناك بالتأكيد أشياء يمكن أن تتعلمها الحكومات من البث الفائق.

في باقة دراسة أمريكية مشهورة على أجهزة البث الفائقة المنشورة في عام 2014 ، كانوا من طاقم النخبة. فقط أفضل 2٪ من المتنافسين أدوا أداءً جيدًا بما يكفي في بطولة التنبؤ الجيوسياسي للفوز باللقب. كانت مهمتهم تحديد احتمالات للإجابات المحتملة لعشرات الأسئلة.

يقدم الباحثون بعض الأمثلة التوضيحية. من سيكون رئيس روسيا في عام 2012؟ هل ستفجر كوريا الشمالية سلاحا نوويا آخر في الأشهر الثلاثة المقبلة؟ كم عدد اللاجئين الذين سيهربون من سوريا العام المقبل؟

بالطبع ، فقط لأن أداء شخص ما بشكل جيد لمدة عام لا يثبت أنه أكثر مهارة من أي شخص آخر. ربما حالفهم الحظ. علينا أن ننظر إلى مدى أدائهم الجيد في السنوات التالية لتقييم مدى "فائقهم" حقًا.

بشكل مثير للإعجاب ، حافظ هؤلاء المثيرون الخارقون على تفوقهم مع استمرار البطولة لمدة ثلاث سنوات أخرى. في الواقع ، بعد دمجهم في "فرق التنبؤ الفائقة" التي تحتوي فقط على أفضل اللاعبين أداءً ، زاد أداؤهم بهامش كبير. وجد الباحثون أيضًا أن العمل في فرق وتلقي التدريب ذي الصلة أدى إلى تحسين أداء المتنبئين الآخرين ، مقارنةً بالمتنبئين في حالة التحكم.

فرق وتدريب

سواء أخذنا كلام كامينغز في كلمته أم لا ، بأن التخطيط للجائحة في المملكة المتحدة عانى من "فقاعة التفكير الجماعي الكلاسيكية" ، فإننا نعلم أن الفرق لا تتخذ دائمًا قرارات حكيمة. ما الذي جعل الفرق أكثر نجاحًا في الدراسة الأمريكية؟

من الصعب الجزم بذلك ، لكن الباحثين شجعوا الفرق تحديدًا على طرح أسئلة محددة لتشجيع التفكير بشكل أوضح حول الأدلة الداعمة لتوقعات معينة ، و "البحث عن دليل يتعارض مع تنبؤاتك الحالية" ، وتقديم وجهات نظر بديلة بشكل بناء .

قد يكون مثل هذا النقاش جيدا تحسين الحكم الجماعي و احترس من التفكير الجماعي. ولم يكن أعضاء الفريق مطالبين بالتوصل إلى توافق في الآراء. على الرغم من أنهم تبادلوا المعلومات والآراء ، إلا أنهم ما زالوا يقومون بالتنبؤات الفردية التي تم دمجها بواسطة الخوارزمية. كانت فرق Superforecaster على وجه الخصوص شديد التفاعل، مشاركة المعلومات بشكل متكرر مع أعضاء الفريق الآخرين وطرح الأسئلة عليهم.

دراسة أخرى ألقينا نظرة فاحصة على تقنيات التدريب المحددة التي يبدو أنها تساعد أكثر. ارتبطت ثلاث تقنيات بشكل خاص بدقة أعلى. الأول هو استخدام ما يسمى بفئات المقارنة.

على سبيل المثال ، إذا كنت أحاول التنبؤ باحتمالية بقاء بنديكت كومبرباتش وصوفي هانتر معًا في غضون خمس سنوات ، فقد يكون من المفيد التفكير في "الفئات" الأخرى ذات الصلة - على سبيل المثال ، فئة زيجات المشاهير ، أو حتى الزيجات بشكل عام. هذا يسمح لي بالاطلاع على التاريخ لإبلاغ توقعاتي: ما هي النسبة المئوية لزيجات المشاهير التي تنتهي في أي فترة خمس سنوات معينة؟

والثاني هو الاستفادة من النماذج الرياضية والإحصائية ، عند توفرها ، للمساعدة في إثراء وجهات نظر الفرد. والثالث هو "تحديد الأسئلة الصحيحة" - توصية بقضاء المزيد من الوقت في توقع إجابات الأسئلة التي تعرف أكثر من غيرها حول الموضوع ، أو التي من المرجح أن تؤتي ثمارها من البحث الإضافي. ومع ذلك ، شدد الباحثون على أن جميع مكونات التدريب ربما ساهم بشكل كلي في تحسين الأداء.

كما أظهرت الأبحاث ذلك تتحسن الدقة عندما نتتبع أداءنا السابق - لكن نوع التعليقات مهم. هل النتائج التي كنت تعتقد أنها ستحدث 20٪ من الوقت حدثت بالفعل 20٪ من الوقت؟ ماذا عن النتائج التي تعتقد أنها ستحدث 90٪ من الوقت؟ يتحسن الأداء لأولئك الذين يتلقون هذا النوع من المعلومات.

هل تستطيع الحكومات أن تفعل ما هو أفضل؟

هل كان بإمكان حكومة المملكة المتحدة أن تقدم أداءً أفضل بشأن COVID-19 من خلال التماس المدخلات من فرق البث الفائق؟ انه ممكن. Superforecasters في الحكم الجيد فتح وتمارس المتنبئين في ميتاكولوس (التي شاركت فيها) يبدو أن كل واحد منهم قد أبلى بلاءً حسنًا فيما يتعلق بـ COVID-19 ، مع مطالبة Metaculus بذلك تفوق الخبراء في يونيو 2020. ومع ذلك ، في أ السلسلة الأخيرة من التنبؤات المتعلقة بـ COVID-19 ، لم يكن المتنبئون المدربون دائمًا أكثر دقة من الخبراء. يقوم الباحثون وراء المسح بتجربة طرق الجمع بين التنبؤات من خبراء المجال والمتنبئين المدربين في "توقعات إجماع".

يبدو أيضًا أنه من المعقول أنه حتى التدريب الذي ساعد غير المتميزين على عمل تنبؤات أفضل كان من الممكن أن يكون مفيدًا. على سبيل المثال ، ادعى كامينغز أنه على الرغم من الاهتمام الكبير بالنماذج الوبائية ، إلا أن الأدلة التي تتعارض مع افتراضات النماذج - مثل البيانات التي يتم الإبلاغ عنها من قبل وحدات العناية المركزة - تم تجاهلها. يبدو من المعقول بالتأكيد أن شخصًا ما تم تدريبه على "البحث عن دليل يتعارض مع تنبؤاتك الحالية" ربما يكون قد اكتشف هذا مسبقًا.

بالطبع ، ليست كل التوصيات الواردة في الأدبيات عملية في الأوساط الحكومية. من الناحية النظرية ، يمكن للحكومات اختبار مثل هذه التوصيات بنفسها ، واعتماد أي منها يبدو مفيدًا. لسوء الحظ ، لا يمكنك تحسين ما لا تقيسه.

In فائق السبق، يؤكد Tetlock أن أي منظمة جادة في تحسين توقعاتها يجب أن تربط أرقامًا محددة بها ، على الأقل داخليًا. قد تعني عبارة مثل "احتمال جدي" فرصة بنسبة 20٪ لشخص واحد وفرصة بنسبة 80٪ لشخص آخر.

يكاد يكون من المؤكد أن هذا ما كان يشير إليه كامينغز عندما قال: "كتب رجل يُدعى فيل تيتلوك كتابًا وفي هذا الكتاب قال إنه لا يجب استخدام كلمات مثل المعقول والمحتمل والمرجح ، لأنه يربك الجميع." ربما لا ينبغي لنا أن نتفاجأ إذا كانت المنظمات التي لا تضع تنبؤات بطريقة يمكن تقييمها غير مجهزة لتعلم كيفية تحسينها. لكي تتحسن ، عليك أولاً أن تحاول.