«نحن نراقبك، وإذا ما ارتكبت أي جُرم فستكون العواقب وخيمة». هذا ما قالته شرطة شيكاغو للفتى روبرت البالغ من العمر 22 عامًا، والذي يخلو تاريخه الجنائي من أي جرائم عنف، ولم يسبق له أبدًا انتهاك قوانين التسلح. روبرت ونحو 400 شخص آخرون مدرجون الآن على قوائم الاشتباه، باعتبارهم أكثر الأفراد المحتملين لارتكاب جرائم عنف في شيكاغو.
أعدت القائمة خوارزمية طُورت بناء على دراسات اقتصادية واجتماعية كتجربة أخرى في مجال شرطة البيانات والتكنولوجيا، وهي قائمة يؤمن البعض بأنها متخمة بأسماء الصبية السود، الذين لطالما عانوا من تفرقة الشرطة ضدهم.
قبل عام تمامًا، ضجت الشوارع حول العالم باحتجاجات تدين التمييز الذي يتعرض له السود. أشعل هذه الاحتجاجات مشهد جورج فلويد وهو يلفظ آخر أنفاسه، فيما يضغط شرطي بركبته على عنقه. نتساءل هنا: هل تمثل أدوات التكنولوجيا خلاصًا من أشكال التمييز والتفرقة التي يتعرض لها أبناء العالم الأقل حظًا، أم أنه مُحتم عليها الإسهام في مضاعفة عدم الإنصاف الذي يتعرضون له؟
لعل القارئ صادف أخبارًا من هذا النوع سابقًا: تحيز أنظمة إطلاق السراح المشروط ضد السود، تحيز خوارزميات التوظيف ضد النساء، تفرقة إعلانات فيسبوك بين المستخدمين على أساس العرق والجنس. وهنا نناقش نموذجًا إضافيًا للتحيز، الأنظمة المستخدمة في مكافحة الجرائم.
البؤر الساخنة
تُبنى أنظمة تحديد النقاط الساخنة (Hotspots) على افتراض أن الجريمة، وذلك لأسباب اجتماعية سياسية، لا تتوزع بشكل متساوٍ عبر المساحة التي تغطيها الدولة، بل تحتشد في بؤر عنقودية (Clusters). في مدينة مينيابوليس الأمريكية على سبيل المثال، تأتي 50% من الاتصالات الواردة لأقسام الشرطة من 3% فقط من عناوين المدينة.
لا يقتصر هذا التركز على الموقع، بل على الوقت أيضًا، إذ تتركز الاضطرابات حسب نوعها في ساعات محددة من اليوم، وأيام معينة من الأسبوع: الاعتداءات في الليل حين تفرغ الشوارع، السطو على المنازل في النهار حين يغادر قاطنوها غالبًا للمدارس أو العمل. وبناء على مثل هذه الدراسات، فطن صناع القرار إلى أن التركيز على بؤر الاضطرابات يعني الانتفاع الأمثل من المصادر المتاحة، خصوصًا في حالات ارتفاع معدل الجريمة وافتقار السلطات لقوى الأمن الكافية لضمان الانضباط التام.
أحد أشهر تطبيقات هذا النموذج من الأنظمة يستخدم في شيكاغو منذ عقد تقريبًا، إذ تستثمر السلطات في شرطة البيانات والتكنولوجيا لكونها المدينة التي تسجل أعلى عدد من جرائم القتل في أمريكا. الجديد في القصة أن المسؤولين عن هذه الأنظمة يريدون أخذها للخطوة التالية، على اعتبار أن المجرمين يتكتلون بالطريقة التي تتكتل بها الجرائم. وهكذا، إذا كان بالمستطاع التوصل إلى النمط الاجتماعي للشبكات التي ينخرط أفرادها في أنشطة مضادة للنظام العام، فبالإمكان وضع قائمة بالمشتبه بهم حتى قبل ارتكابهم أي جرم. وتدرج أسماء هؤلاء ومعلوماتهم في «القائمة الساخنة» (Heat List).
قائمة المشتبه بهم
يضع «مايلز ويرنيك»، مدير مركز أبحاث التصوير الطبي بمعهد إلينوي للتكنولوجيا في شيكاغو، الخبرة التي اكتسبها من التشخيص الآلي باستخدام صور الأشعة الطبية في النموذج الجديد من نظام تفادي الجرائم والتنبؤ بها.
الطريقة التي تكتشف الخوارزميات بها حالات الشذوذ في الدماغ تكشف أن شيئًا غير طبيعي يحصل، وبإمكانها لفت الانتباه إلى الأنماط المشبوهة، منتجة بذلك خرائط جريمة تستفيد من بيانات الشرطة حول مكالمات الاضطراب الواردة، مرفقة بقوائم المشتبه بهم في ارتكاب هذه الجرائم المحتملة. يتغذى النظام هنا على بيانات إضافية تشمل قوائم الاعتقال، والإدانة، والتاريخ الجنائي، في نموذج يعتمد على علاقات الجناة ببعضهم للتنبؤ بالجناة المحتملين.
علم المشتبهين بوجودهم في القائمة سيؤثر على حياتهم العادية: إذا ما وقعت جريمة في الجوار، سيعلمون أنهم من أوائل المشتبه بهم.
ما يهم ليس علاقاتك تحديدًا، بل بنية الشبكة وموقعك فيها. لذلك فوجود أشخاص مثل روبرت ليس عشوائيًا، وإن كانت أسباب وجوده في القائمة غير مبررة من وجهة نظره.
أبعاد المسألة والمضاعفات المحتملة لمثل هذا النظام
يحاجج البعض بأن مثل هذه الأنظمة تأتي بسلسلة من الإشكاليات:
- تبلغ الشرطة (وإن لم يكن في جميع الحالات) أفراد القائمة بأنهم مدرجون فيها، وأن السلطات تضعهم تحت مجهرها، وهو أمر يعده بعض المعلقين انتهاكًا للخصوصية. بالإضافة إلى أن علم المشتبهين بوجودهم في القائمة سيؤثر على حياتهم العادية: إذا ما وقعت جريمة في الجوار، سيعلمون أنهم من أوائل المشتبه بهم، مما قد يؤثر على حكم القضاة أيضًا في قضاياهم.
- للاستفادة المثلى من النظام، ولتجنب إغراقه بفيض من المعلومات التي قد تؤخر استجابته، لا تستخدم الشرطة عادة معلومات الجميع، بل بيانات الذين صادفتهم مسبقًا من المشتبه بهم والمعتقلين والمدانين. مثل هذه الممارسة وغيرها من الأسئلة حول معايير الإضافة إلى قائمة الاشتباه ومن يقرر هذه المعايير، مرتبطة بقضايا التحيز والتمييز.
- تختلف الآراء حول ما إن كان وجود مثل هذه الأنظمة مبررًا. تحاجج الشرطة بأن النظام وإن كان قابلًا للخطأ، فهو يحمي الأرواح، وهامش الخطأ هذا ثمن بسيط يمكن تجاهله لقاء المنافع التي يعود بها. فيما يرى آخرون أن سلوكًا كهذا يتعارض مع فلسفات المسؤولية الفردية، إذ لا يعَد الفرد مسؤولًا عن أفعاله إلا بعد ارتكاب الفعل، وبشرط توفر الإرادة والتعمد.
- أثبتت التجارب السابقة أن الخوارزميات التي تدرَّب باستخدام بيانات مأخوذة من الواقع الحقيقي، الذي تعاني فيه بعض الجماعات من أشكال التفرقة والتحيز، في الأغلب ستلتقط (تتعلم) هذه الأنماط هي الأخرى. ويقول البعض إن اعتماد النظام على معلومات المعتقلين في السابق والنبش في علاقتهم، لا يمكن إلا أن يضاعف حقيقة أن السود في الغالب هم أول المشتبه بهم. عدم التناسب هذا بين اشتباه البيض والسود قد يملأ القائمة بالمزيد من السود.
مصادر تحيز الخوارزميات وتحدياتها
كان النظام الذي طورته أمازون للمساعدة على اتخاذ قرار التوظيف منحاز ضد الإناث، لأن الخوارزمية طورت نموذجها بالتعلم من قرارات التوظيف السابقة، التي كانت تحابي الذكور على الإناث.
صحيح أنه في كثير من الأمثلة يمكن استنتاج أن تحيز الآلة سببه البيانات المستخدمة في تدريب الخوارزميات، مثل تدريب نظام مسؤول عن التوظيف باستخدام سير ذاتية يعود غالبها إلى الذكور، أو تدريب أنظمة معرفة الوجوه مع تجاهل السود أو الآسيويين. ومع ذلك، فهذا ليس المصدر الوحيد للتحيز، بل هناك مصادر أخرى:
- تأطير المشكلة: تطوير أنظمة معتمدة على نماذج التعلم العميق (Deep Learning) يبدأ من تحديد هدف النظام، وتطوير طريقة يضمن بها تحقيق هذا الهدف. الهدف الأساسي للنظام الذي يساعد في صنع قرار منح القرض من عدمه في البنوك هو تحديد ما إن كان الشخص مستحقًا أو لا، مستحقًا من حيث أنه يُتوقع أن يكون قادرًا على سداد القرض. ولتحقيق الهدف، يجب أيضًا تحديد المتغيرات التي يُتوقع أن تكون ذات صلة، كالدخل والعمر مثلًا. إذا ما طورت الخوارزمية نموذجًا يعزز هامش الربح، فإن مطوريها لا يشغلون بالهم غالبًا بالتساؤل عما إن كانت منصفة، وقد لا تخطر احتمالية أن تكون متحيزة في بالهم البتة، فالنظام يؤدي الوظيفة التي طُور من أجلها على أكمل وجه.
- وراثة أشكال التحيز الموجودة في العالم الحقيقي: أثبت النظام الذي طورته أمازون مثلًا للمساعدة على اتخاذ قرار التوظيف على نحو آلي، أنه منحاز ضد الإناث. ويأتي هذا التحيز نتيجة لأن الخوارزمية طورت نموذجها بالتعلم من قرارات التوظيف السابقة، التي كانت تحابي الذكور على الإناث.
أحد أهم التحديات التي تواجه التغلب على تحيز الآلة اليوم هو التعريف الرياضي ومقياس الإنصاف الذي يختبر ما إذا كانت الخوارزميات توافقه. أحد المقاييس هو نسبة الخطأ الإيجابي والسلبي. مقياس آخر هو التناسب: تَوافق عدد الذكور مع الإناث أو البيض مع السود. مقياس آخر هو كون القرار غير مرتبط بالجنس أو العرق. مقاييس أثبت الباحثون أنه لا يمكن لخوارزمية تحقيقها جميعًا. وعليه، فباختيار مقياس معين، يجازف المطورون بعدم موافقة المقاييس الأخرى.
بشكل عام، تثير ظاهرة التحيز الخوارزمي اهتمام الدارسين لأخلاقيات الذكاء الاصطناعي، لأنها تكشف أكثر وأكثر عن حضورها بالرغم من أن الخصائص المحمية لا تُلقَّن للنظام علنًا، أي أن النظام نظريًا لا يعلم جنس الشخص أو عرقه، ولا يأخذ مثل هذه المعلومات في الحسبان أثناء عملية صناعة القرار. ومع ذلك يكون القرار الناتج لسبب ما متحيزًا ضد عرق أو جنس.
دراسة هذه الظاهرة أمرٌ يعنينا جميعا، فالآلة اليوم تقرر المستحقين للقروض البنكية ممن يتقدمون لها، وتقرر من يستحق شغل وظيفة ما، وتقرر العقوبة التي يستحقها المتهمون.
