الأمازون بدأت مؤخرا في العرض التوصيل في نفس اليوم في المناطق الحضرية المختارة. قد يكون هذا مفيدًا للعديد من العملاء ، لكن العرض يظهر كيف أن اتخاذ القرار عبر الكمبيوتر يمكن أن يؤدي أيضًا إلى جرعة قوية من التمييز.
وبصورة معقولة ، بدأت الشركة خدمتها في المناطق التي تكون فيها تكاليف التسليم أقل ، من خلال تحديد رموز ZIP للأماكن ذات الكثافة السكانية الرئيسية للعديد من عملاء الأمازون الحاليين الذين لديهم مستويات دخل عالية بما يكفي لإجراء عمليات شراء متواترة من المنتجات المتاحة للتسليم في نفس اليوم. قدمت الشركة صفحة ويب تسمح للعملاء بإدخال الرمز البريدي لمعرفة ما إذا كان التسليم في نفس اليوم يخدمهم أم لا. استخدم صحفيو التحقيق في وكالة بلومبرج نيوز تلك الصفحة إنشاء خرائط لمنطقة خدمة الأمازون للتسليم في نفس اليوم.
وكشف تحليل بلومبرغ أن العديد من المناطق الحضرية الفقيرة استبعدت من منطقة الخدمة ، في حين تم إدراج مناطق أكثر ثراء. كثير من هذه المناطق الفقيرة المستبعدة كانت مسكونة في الغالب من قبل الأقليات. على سبيل المثال ، تم تغطية كل بوسطن باستثناء روكسبوري. شملت تغطية مدينة نيويورك جميع الأقسام الأربعة تقريبًا لكنها استبعدت برونكس بالكامل ؛ غطت تغطية شيكاغو الجانب الجنوبي الفقير ، في حين امتدت إلى حد كبير إلى الضواحي الشمالية والغنية الغنية.
في حين أنه من المغري الاعتقاد بأن القرارات المستندة إلى البيانات غير متحيزة ، البحث والمناقشة العلمية بدأوا في إثبات ذلك الظلم والتمييز لا يزال قائما. في دورة عبر الإنترنت حول أخلاقيات البياناتيتعلم الطلاب ذلك الخوارزميات يمكن أن تميز. ولكن قد يكون هناك بعض الشيء من الجانب الفضي: كما يشير بحث بلومبيرج ، فإن اتخاذ القرارات بشأن البيانات قد يسهل أيضًا اكتشاف متى تنشأ تحيزات.
يمكن أن يكون الانحياز غير مقصود
يمكن أن ينشأ عدم العدالة مثل ذلك في سياسة تسليم أمازون لأسباب عديدة ، بما في ذلك التحيز الخفي - مثل الافتراضات التي يتم توزيع السكان بشكل موحد. من المرجح أن المصممين الخوارزمية لا ينوون التمييز ، وربما لا يدركون أن هناك مشكلة قد تسللت.
وقالت أمازون لـ Bloomberg إنه ليس لديها نية تمييزية ، وهناك كل الأسباب للاعتقاد بهذا الادعاء. ردا على تقرير بلومبيرج ، مدن مسؤولون و السياسيين الآخرين دعا الأمازون لإصلاح هذه المشكلة. الشركة انتقل بسرعة لإضافة استبعدت أصلا الرموز البريدية الحضرية الفقيرة إلى منطقة خدمتها.
وكان سؤال مماثل سئل من اوبروالتي يبدو أنها تقدم خدمة أفضل للمناطق التي تسكنها نسب أعلى من البيض. من المرجح أنه سيكون هناك المزيد من أمثلة صناعة التجزئة والخدمات عن التمييز الخوارزمي غير المقصود الذي تم اكتشافه في المستقبل.
يسأل الكثير من الخوارزميات؟
يجب أن نتوقف لحظة للنظر في ما إذا كنا نطالب بالقرارات الحسابية دون مبرر. تقوم الشركات التي تُشغل المتاجر الفعلية باتخاذ قرارات الموقع طوال الوقت ، مع الأخذ بعين الاعتبار المعايير التي تختلف عن تلك الخاصة بأمازون. تحاول المتاجر أن يكون لديها مواقع مناسبة لمجموعة كبيرة من العملاء المحتملين الذين لديهم أموال لإنفاقها.
ونتيجة لذلك ، يختار عدد قليل من المتاجر تحديد موقع الأحياء الفقيرة في المدينة الداخلية. لا سيما في سياق محلات البقالة ، وقد درست هذه الظاهرة على نطاق واسع ، ومصطلح "الغذاء الصحراوي"استخدمت لوصف المناطق الحضرية التي لا يتمتع سكانها بوصول سهل إلى الطعام الطازج. هذه تحيز الموقع أقل دراسة لمتاجر التجزئة عموما.
وكمثال إرشادي ، نظرت إلى مواقع شركة 55 Michigan of Target ، وهي سلسلة كبيرة شاملة للبيع بالتجزئة. عندما قمت بفرز كل رمز ZIP في ميشيغان بناءً على ما إذا كان متوسط دخلها في النصف الأعلى أو النصف السفلي على مستوى الولاية ، وجدت أن 16 فقط من مخازن Target (29 percent) كانت في رموز ZIP من مجموعة الدخل المنخفض. أكثر من ضعف هذا العدد ، تم تخزين 39 ، في الرموز البريدية من النصف الأكثر ثراء.
تحديد التمييز
علاوة على ذلك ، لا توجد متاجر مستهدفة في مدينة ديترويت ، على الرغم من وجود العديد من ضواحيها (الأكثر ثراءً). ومع ذلك ، لم يكن هناك غضب شعبي يزعم أن الهدف يميز بشكل غير عادل ضد الفقراء في قرارات موقع المتجر. هناك سببان رئيسيان لقلق المخاوف بشأن الأمازون: الصلابة والهيمنة.
تتعلق الصلابة بكل من عمليات صنع القرار الخاصة ببيع التجزئة عبر الإنترنت والنتيجة. الأمازون يقرر أي رموز البريدي في منطقة خدمته. إذا كان العميل يعيش على الجانب الآخر من الشارع من الحدود التي حددتها Amazon ، فهي خارج منطقة الخدمة ولا يمكنها فعل الكثير حيال ذلك. على النقيض من ذلك ، يمكن للشخص الذي يعيش في رمز بريدي بدون متجر Target مواصلة التسوق في Target - رغم أنه قد يستغرق وقتًا أطول للوصول إلى هناك.
كما أنه يهم مدى سيطرة بائع التجزئة على أذهان المستهلكين. في حين أن الهدف هو واحد فقط من العديد من سلاسل المتاجر الفعلية ، يتمتع Amazon هيمنة السوق كتاجر على شبكة الإنترنت، وبالتالي يجذب المزيد من الاهتمام. هذه الهيمنة هي سمة من سمات اليوم الرابح يأخذ كل شيء شركات الويب.
في حين أن صلابة هيمنتهم قد يجعلنا قلقًا أكبر بشأن الأعمال التجارية عبر الإنترنت ، إلا أننا أيضًا أكثر قدرة على اكتشاف تمييزهم مقارنةً بمحلاتنا. بالنسبة لمتجر سلسلة تقليدي ، نحتاج إلى تخمين مدى استعداد المستهلكين للسفر. قد نحتاج أيضًا إلى أن نكون مدركين للوقت: خمسة أميال إلى مخرج الطريق السريع التالي ليس نفس الشيء الذي يصل إلى خمسة أميال عبر الشوارع المزدحمة إلى الجانب الآخر من المدينة. علاوة على ذلك ، يمكن أن يختلف وقت السفر على نطاق واسع اعتمادًا على الوقت من اليوم. بعد تحديد المناطق المحتملة التي يخزنها المتجر ، قد لا يقوموا بالتخطيط بدقة في الوحدات الجغرافية التي لدينا إحصاءات حول العرق أو الدخل. باختصار ، التحليل فوضوي ويتطلب الكثير من الجهد.
على النقيض من ذلك ، كان من الممكن أن يستغرق الأمر الصحافيين في بلومبرج بضع ساعات فقط لوضع خريطة لمنطقة الخدمة في الأمازون وربطها بالدخل أو العرق. إذا كان الأمازون قد فعل ذلك داخليًا ، فقد كان بإمكانه إجراء التحليل نفسه في دقائق معدودة - وربما لاحظ المشكلات وقام بإصلاحها قبل بدء الخدمة في نفس اليوم.
كيف يقارن البشر؟
دعونا نلقي نظرة على مثال مختلف للغاية لنرى كيف تنطبق النقاط نفسها على نطاق واسع. مؤخرا ، نشر ProPublica تحليل ممتاز للتمييز العنصري بواسطة خوارزمية تتنبأ باحتمالية المجرم للإساءة مرة أخرى. تدرس الخوارزمية العشرات من العوامل وتحسب تقدير الاحتمال. وجد تحليل ProPublica تحيزًا عنصريًا كبيرًا ، على الرغم من أن العرق لم يكن من بين العوامل المحددة المعتبرة.
بدون الخوارزمية ، يقوم القاضي البشري بعمل تقدير مماثل ، كجزء من قرار الحكم أو الإفراج المشروط. قد ينظر القرار البشري إلى مجموعة أكثر ثراءً من العوامل ، مثل سلوك قاعة المحكمة الجنائية. لكننا نعرف من دراسات في علم النفس، أن صنع القرار الإنساني مليء بالتحيزحتى عندما نبذل قصارى جهدنا لنكون عادلين.
ولكن من المحتمل أن تكون أي أخطاء تنتج عن التحيز في قرارات القضاة البشريين مختلفة بين القضاة ، وحتى عن القرارات المختلفة التي يتخذها نفس القاضي. في المجموع ، قد يكون هناك تمييز عنصري بسبب التحيز اللاوعي، ولكن إنشاء هذا بشكل قاطع أمر صعب. وجدت دراسة وزارة العدل الأمريكية أدلة قوية على التفاوت في الحكم على المدانين البيض والسودولكن لا يمكن أن تحدد بوضوح ما إذا كان السباق نفسه عاملاً في تلك القرارات.
في المقابل ، تم استخدام نفس الخوارزمية الفعلية ProPublica في آلاف الحالات عبر العديد من الولايات. إن صلابتها ، وكبر حجمها ، تسهل مهمة تحديد ما إذا كانت تميز - ويمكنها تقديم طرق لتصحيح المشكلة بفعالية.
يبدو أن استخدام تكنولوجيا المعلومات يجعل الخطوط أكثر إشراقاً ، والاختلافات أكثر وضوحا ، والبيانات حول كل هذا متاح بسهولة أكبر بكثير. ما يمكن أن ينغمس تحت البساط بالأمس الآن صرخات لاهتمامهم. بينما نجد المزيد والمزيد من استخدامات الخوارزميات المبنية على البيانات ، ليس من الشائع حتى الآن تحليل عدالتها ، خاصة قبل طرح خدمة جديدة قائمة على البيانات. إن تحقيق ذلك سيقطع شوطا طويلا في قياس ، وتحسين ، عدالة هذه الحسابات المحوسبة ذات الأهمية المتزايدة.
نبذة عن الكاتب
HV Jagadish، Bernard A Galler أستاذ جامعي في الهندسة الكهربائية وعلوم الحاسب الآلي ، جامعة ميشيغان
تم نشر هذه المقالة في الأصل المحادثة. إقرأ ال المقال الأصلي.
كُتبٌ ذاتُ صِلَةٍ
at سوق InnerSelf و Amazon
