«لا بدّ من تثقيف الخوارزميات»

هل الخوارزميات مُتحيّزة جنسيا؟ سؤال قد يبدو في غير محلّه. ورغم ذلك، فإن الخوارزميات التي قام الإنسان بترميزها، والمستخدمة في مجال الذكاء الاصطناعي، لا تحيد عن الأنماط المتداولة. ولئن أمكن لها إحداث بعض الميولات المُتّسمة بالتمييز الجنسي أو العنصري، فبالإمكان أيضا استخدامها في اتجاه مزيد التقدم في قضية المساواة. ذلك ما تُبيّنه كلّ من أود بارنهايم وفلورا فانسان في كتابهما الذي يحمل عنوان «لا للذكاء الاصطناعي بدونهنّ!»

أجرت الحوار أنياس باردون 

اليونسكو

ما الذي أدّى بكما إلى الاهتمام بمسألة النوع (الجندر) في الذكاء الاصطناعي؟

أود بارنهايم: في البداية، كان تفكيرنا مُنصبّا على الروابط القائمة على المساواة بين النساء والرجال من جهة، والعلوم من جهة أخرى. ولقد أسّسنا سنة 2013 جمعية «واكس ساينس» [ماذا عن تجربة العلوم] كي نطرح مسألة التأثير المُحتمل لعدم الاختلاط بين الجنسين داخل الفِرَق العلميّة على منتجات العلوم والتكنولوجيا. ويندرج عملنا حول الذكاء الاصطناعي ضمن هذه الفكرة. في الحقيقة، لم نُفاجَأ كثيرا عند عثورنا على ميل للتمييز الجنسي في التكنولوجيات، بصفته موجودا في العديد من المجالات الأخرى، وبالتالي ليس هناك من مبرّر لعدم وجوده في مجال الذكاء الاصطناعي. بيد أن العواقب عديدة وتتجاوز المسائل المعتادة المتعلقة بالمساواة المهنية أو بالأجور. فالقوالب النمطية التي تحملها الخوارزميات في طيّاتها يُمكن أن يكون لها أثر سلبي عند فرز الترشيحات –باستبعاد النساء، مسبقا، من المناصب التقنية– أو عند تقديم المقترحات الخاصة بالأجور، أو حتى بمناسبة القيام بالتشخيصات الطبية.

فلورا فانسان: إن الفِرَق العلمية تفتقر إلى التنوّع، وهي ظاهرة معروفة. أما ما هو معروف بدرجة أقلّ فهي تبعات ذلك على الطريقة التي يتم بها تطوير البحوث أو على المواضيع المفضّلة. فلقد قامت، في الآونة الأخيرة، مؤرخة العلوم الأمريكية، لوندا شيبنجر، بإنجاز أعمال بخصوص هذا الموضوع، مُبيّنة أنه كلما ازداد عدد النساء في الفريق، ازداد احتمال مراعاة مسألة النّوع في الدراسة ذاتها. والأمثلة على هذا التمييز في مجال البحث عديدة. ويمكننا أن نذكر مثال الأدوية التي يتم اختبارها أكثر على الفئران الذكور لأن لها هرمونات أقل من الإناث، ممّا يُسهّل تقييم الآثار الجانبية. مثال آخر: بالنسبة لاختبارات التصادم، يتم استخدام التماثيل النموذجية التي يبلغ طولها 1.70 مترًا وتزن 70 كيلوغرامًا، أي أنها مُصمّمة على مقاس رجل ذي حجم متوسط. ونتيجة لذلك، فإن حزام الأمان لا يأخذ في الاعتبار بعض الأوضاع كحالات النساء الحوامل على سبيل المثال.

هل كانت الإعلامية، منذ نشأتها، مادة تغلب عليها الذكورية؟

أ.ب.: كلاّ. لم تكن دائما كذلك. ففي بداية القرن العشرين، كانت الإعلامية مادّة تتطلب الكثير من الحسابات المملّة. في ذلك العهد، غالبا ما كان يُعهد بهذه المهمّة إلى النساء. وعندما وصلت الحواسيب الأولى، وجدت النساء أنفسهنّ في الصفّ الأول. فهذا العمل لم يكن يُنظر إليه على أنه مرموق. وإلى حدود سنة 1984، كانت النساء يُمثّلن نسبة 37% من العاملين في مجال الإعلامية في الولايات المتحدة. وعلى سبيل المقارنة، لم تكن نسبة الطالبات اللاتي يتابعن مسارا دراسيا في مجال الإعلامية في فرنسا، سنة 2018، تتجاوز 10%، وتُقدّر نسبتهن في مجال الذكاء الاصطناعي بـ 12%. في الواقع، حدث تغيير كبير في الثمانينات مع ظهور الحاسوب الشخصي. فمنذ ذلك الحين، اكتسبت الإعلامية ثِقلا اقتصاديًا غير مسبوق. كما ظهر في تلك السنوات بُعْدٌ آخرَ تمثّل في برمجيات الألعاب التي أسهمت في تطوير مخيال ثقافي ذكوري مفرط أنتج شخصية المهوس. وقد صاحب هذه الحركة المزدوجة تهميش المرأة، وهو ما يدلّ على أن ميل الأولاد إلى الحاسوب لم يكن لأسباب طبيعيّة بقدر ما هو بناء ثقافي.

قد يذهب بنا الظنّ إلى أنّ الخوارزميات محايدة بطبعها. فإلى أي مدى تُساهم هذه الأخيرة في إعادة إنتاج الانحياز الجنسي؟

أ.ب.: بعجالة، لقد أدرك المنبّهون إلى المخاطر أن الخوارزميات منحازة، فلاحظوا، على سبيل المثال، أن برامج الترجمة تَنسُب جِنسا معيّنا إلى المهن من خلال ترجمة كلمة «ذو دكتر» (غير مجنّسة) بالانجليزية إلى «الدكتور» (مذكّر) بالفرنسية، أو «ذو نورس» إلى «ممرضة» (مؤنّث). وعندما ظهرت برمجيات المساعدة الصوتية، سواء أكانت «أليكسا» أو «سيري» أو «كورتانا»، حملت جميعها أسماء مؤنّثة تستجيب للأوامر بشيء من الخضوع حتى عندما تتعرض إلى الإهانة (انظر المؤطر). في سنة 2016، اهتمّت جوي بيولامويني، باحثة أمريكية من أصل أفريقي في معهد ماساتشوستس للتكنولوجيا، بخوارزميات التعرّف على الوجه. وأظهرت أبحاثها أن هذه الخوارزميات تم تدريبها على قواعد بيانات تحتوي في معظمها على صور لرجال بيض. لذلك كان أداؤها أقل جودة عندما يتعلق الأمر بنساء سوداوات أو برجال آسيويين مقارنة بالرجال البيض. وهنا يمكن القول، إذن، أنها، لو ساهمت في الفريق الذي طوّر هذه الخوارزمية، لربّما كان الوضع مختلفًا.

ف.ف.: إنّ تشفير الخوارزمية هو أشبه ما يكون بكتابة نص، إذ يحتوي على نصيب من الذاتية التي تتجلى في اختيار الكلمات، وصياغة الجمل، حتى وإن كان لدينا انطباع بأنّنا نكتب نصا لا يتجاوز سرد الوقائع. ولكي نتعرّف على مواطن الانحياز، اخترنا منهجا يتمثّل في تدقيق مختلف مراحل ما يسمى بـ «عدوى التمييز الجنسي»، إذ لا يُوجد سبب واحد وراء خوارزمية متحيزة، بل هي ثمرة سلسلة من الأسباب التي تتدخل في المراحل المختلفة من بنائها. وفعلا، إذا كان الأشخاص الذين قاموا بترميز الخوارزمية، واختبارها، والتحكّم فيها، واستخدامها دون إدراك منهم لهذه التحيزات المحتملة، فإنهم يعيدون، بالضرورة، إنتاجها، لأنه في الغالبية السّاحقة من الحالات، ليست هناك إرادة واعية في التمييز، بل غالبا ما نقوم فقط بإعادة إنتاج الأنماط اللاواعية التي نستبطنها طيلة حياتنا وبحكم تربيتنا.

هل يوجد وعي اليوم بانحياز بعضٍ من منتجات الذكاء الاصطناعي؟

أ.ب.: الذكاء الاصطناعي حقل يتطور فيه كل شيء بسرعة كبيرة؛ ذلك هو شأن التكنولوجيا أيضا وكذلك مسألة التفكير في استخدامها. ومقارنة باختصاصات أخرى، فإن إشكالية التمييز ظهرت في هذا الحقل في وقت مبكّرٍ للغاية إذ لم تكد تمرّ ثلاث سنوات على بداية الحُمَّى الخوارزمية، حتّى بادر المنبّهون إلى المخاطر بجلب الانتباه نحو المعاملة التفاضلية لبعض الخوارزميات. وهي مسألة أصبحت، مذ وقتها، موضوعا في حد ذاته داخل المجتمع العلمي، يغذّي عديد النقاشات، وتترتّب عنه أعمال بحثية عن التحيّزات وتأثيرات الخوارزميات من وجهة نظر أخلاقية وحسابية وإعلاميّة. ولقد أصبحنا في الآونة الأخيرة نجد أثرا لهذا الوعي في الصحافة العامة. وحتى لئن لم يتم حلّ جميع المشكلات، فهي، على الأقلّ، أصبحت معروفة، وهو ما قد يمهّد الطريق لمعالجتها. 

كيف يمكننا أن نجعل الخوارزميات أكثر ميلا إلى المساواة؟

أ. ب.: يجب في البداية أن نتصرّف على مستوى قواعد البيانات حتى تكون ممثّلة للسكّان في تنوّعهم. وقد شرعت بعض الشّركات في ذلك. وهي تشتغل وفق قواعد بيانات تأخذ في الاعتبار الاختلافات في الجنس، والجنسية، والمورفولوجيا. واعتمادا على الأعمال المنشورة حول أوجه القصور في برمجيات التعرف على الوجه، أعادت بعض المؤسسات تدريب خوارزمياتها حتى تُصبح أكثر شمولا. كما شاهدنا أيضًا ظهور شركات تخصّصت في تطوير أدوات تُمكّن من تقييم الخوارزميات ورصد التحيّزات التي قد تشوبها.

ف. ف.: في ذات الوقت، بدأ التفكير، في الأوساط العلمية والبحثية، في الوسائل الكفيلة بإنجاز تقييم أكثر استقلالية، وفي ضرورة إضفاء الشفافية على الخوارزميات. بعض الباحثين، من أمثال جوي بيولامويني، دعا إلى تطوير مدوّنة تقوم على نبذ التحيّز وتعميمها، أسوة بالكتابة المجرّدة من الميول الجندرية. ومن بين المبادرات القائمة اليوم، نشير إلى العمل الذي تقوم به مجموعة «داتا فور غود» التي تفكر في سُبُل وضع الخوارزمية في خدمة المصلحة العامة. ولقد قامت هذه المجموعة بصياغة ميثاق أخلاقي يُعرف بـ «قَسَمُ أبقراط لعلماء البيانات» والذي وضع قائمة في عدد من المعايير الملموسة التي يجب التثبّت منها قبل تطبيق أيّ خوارزمية ضمانا لعدم وجود تمييز فيها. ومن المهم دعم مثل هذه المبادرات.

هل يمكن للذكاء الاصطناعي أن يصبح يوما ما مثالًا في مكافحة التحيّز؟

أ.ب.: بمعنى معيّن، نعم، طالما أدركنا سريعا التحيّزات التي يمكن أن تحدثها هذه التقنيات الجديدة. فالذكاء الاصطناعي بصدد إحداث ثورة في مجتمعاتنا، لذلك يمكنه أن يُغيّر الأشياء على نحو إيجابي. فالذكاء الاصطناعي يُتيح التصرّف في كميات هائلة من البيانات وتحليلها. ذلك ما سمح  لـغوغل، بالخصوص، إنشاء خوارزمية، سنة 2016، لاحتساب المدّة الزّمنية المخصصة لكلام النساء في كبرى الأفلام السينمائية الأمريكية وإظهار ضعف تمثيليّتهن. ولكن في الوقت نفسه، يجب على الفِرَق التي تطوّر الخوارزميات المزيد من تشريك النساء. غير أن ما نلاحظه اليوم هو أن عدد النساء اللاتي يدرسن الإعلامية قليل جدّا لجملة من الأسباب تعود بشكل خاص إلى تحفّظ الفتيات على الالتحاق بالاختصاصات العلمية، أو التمييز الجنسي السائد في شركات التكنولوجيا العالية الجودة، وهو ما يتطلّب بعض الوقت لعكس هذا الاتجاه.

ف. ف.: أكيد أنه من الضروري تثقيف الخوارزميات، ولكن تعديل بعض خطوط البرمجية لن يكون كافيًا لحلّ المشكلات. يجب ألا يغيب عن البال أنه لن تكون هناك أي إرادة في ترميز المساواة إذا كانت الفِرق المشاركة غير مختلطة.

مطالعات ذات صلة

من أجل استخدام ديمقراطي للذكاء الاصطناعي في أفريقيا، رسالة اليونسكو، يوليو - سبتمبر 2018

اشترك في رسالة اليونسكو لمتابعة الأحداث. الاشتراك في النسخة الرقمية مجاني 100%.

تابع رسالة اليونسكو على تويتر، فيسبوك، أنستغرام

Interview by Agnès Bardon

UNESCO

How did you become interested in the gender issue in artificial intelligence (AI)?

Aude Bernheim: Originally, our thinking focused on the links between gender equality and science. In 2013, we founded the association WAX Science, or WAX (What About Xperiencing Science), to examine how the lack of gender diversity in scientific research teams could potentially affect the products of science and technology. Our work on AI stems from this reflection.

Actually, we weren’t really surprised to find gender biases in these technologies because they exist in many other fields. There was no reason for AI to escape them. But the consequences are numerous, and go beyond the usual issues of professional equality or salaries. The stereotypes contained in the algorithms can have a negative impact on the way job applications are screened – by excluding women from technical positions – salary proposals, and even medical diagnoses.

Flora Vincent: Scientific teams lack diversity – the phenomenon is well-known. What is not so well-known is that this has consequences on how research is developed and what subjects are given priority. An American science historian, Londa Schiebinger, has been working on this topic recently. She shows that the more women there are on a team, the more likely it is for the gender issue to be taken into account in the study itself.

There are many examples of this discrimination in research. One example is that drugs are tested more on male rats because they have fewer hormones, and therefore it’s considered easier to measure side effects. Another example: for crash tests, standard 1.70-metre and seventy-kilogram dummies, modelled on the average size and build of a man, are used. As a result, the seatbelt does not take into account certain situations, such as pregnant women, for example. 

Has computer science been a predominantly male-dominated discipline from the outset?

Bernheim: No, that was not always the case. In the early twentieth century, computer science was a discipline that required a lot of rather tedious calculations. At the time, these were often done by women. When the first computers came along, women were in the lead. The work was not seen as prestigious at the time. As recently as 1984, thirty-seven per cent of those employed in the computer industry in the United States were women. By comparison, in France in 2018, only ten per cent of students in computer science courses were women; it is estimated that only twelve per cent of students in the AI sector are women.

In fact, a significant change took place in the 1980s, with the emergence of the personal computer (PC). From then on, computer technology acquired unprecedented economic importance. The recreational dimension of computers also emerged in those years, developing a very masculine cultural imagery around the figure of the geek. This dual trend was accompanied by the marginalization of women. This shows that boys' affinity for computers is not natural, but that it is, above all, cultural and constructed.

One might think that algorithms are neutral by nature. To what extent do they contribute to reproducing gender bias?

Bernheim: Some whistleblowers realized quite quickly that algorithms were biased. They found, for example, that translation software [into French, which has masculine and feminine nouns] tended to give professions a gender by translating the English “the doctor” into “le docteur” (masculine), and “the nurse” into “l'infirmière” (feminine). When voice assistants appeared – whether Alexa, Siri, or Cortana – they all had feminine names and responded to orders in a rather submissive manner, even when they were insulted.

In 2016, Joy Buolamwini, an African-American researcher at the Massachusetts Institute of Technology (MIT), became interested in facial recognition algorithms. Her work showed that they [the AI] were trained on databases which contained mostly photos of white males. As a result, they were much less effective on [recognizing] black women or Asian men, than on white men. You can imagine that if she had been part of the team developing these algorithms, the situation would have been different.

Vincent: Coding an algorithm is like writing a text. There’s a certain amount of subjectivity that manifests itself in the choice of words, the turns of phrases – even if we have the impression that we are writing a very factual text. To identify the biases, our approach consisted of dissecting the different stages of what we call “sexist contagion”. That’s because there isn’t a single cause that creates a biased algorithm, but rather, it’s the result of a chain of causality that intervenes at the different stages of its construction. In effect, if the people who code, test, control and use an algorithm are not aware of these potential biases, they reproduce them. In the vast majority of cases, there’s no wilful intention to discriminate. More often than not, we simply reproduce unconscious stereotypes forged in the course of our lives and education.

Is there an awareness of the bias in certain AI products today?

Bernheim: AI is a field where everything is evolving very quickly – the technology itself, but also the thinking about its use. Compared to other disciplines, the problem of discrimination emerged very early on. Barely three years after the onset of algorithm fever, whistleblowers started drawing attention to the differentiated treatment of certain algorithms. This is already a subject in its own right in the scientific community. It fuels many debates and has led to research work on the detection of bias and the implications of algorithms from an ethical, mathematical and computer science point of view. This awareness has also recently been reflected in the mainstream media. Not all the problems have been solved, but they have been identified and once they have been, solutions can be implemented.

How can algorithms be made more egalitarian?

Bernheim: To begin with, we must act at the level of databases, so that they are representative of the population in all its diversity. Some companies are already doing this and are working on databases that take into account differences in gender, nationality or morphology. As a result of work published on the shortcomings of facial recognition software, some companies have retrained their algorithms to be more inclusive. Companies have also emerged that specialize in developing tools to evaluate algorithms and determine whether they are biased.

Vincent: At the same time, in the scientific and research community, there has been reflection on how to implement a more independent evaluation, and on the need for algorithmic transparency. Some experts, such as Buolamwini, advocate the development and generalization of an inclusive code, just as there is for inclusive writing.

Among existing initiatives, we should also mention the work done by the collective Data for Good, which is thinking about ways to make algorithms serve the general interest. This collective has drafted an ethical charter called the Hippocratic Oath for Data Scientists, establishing a list of very concrete parameters to be checked before implementing an algorithm, to ensure it isn’t discriminatory. It is important to support this type of initiative.

Could AI eventually become an example for how biases can be combated?

Bernheim: In a sense, yes, to the extent that we became aware fairly quickly of the biases these new technologies could induce. AI is in the process of revolutionizing our societies, so it can also make things evolve in a positive way. AI makes it possible to manage and analyze very large amounts of data. It enabled Google, in particular, to create an algorithm in 2016 to quantify the speaking time of women in major American film productions and show their under-representation. At the same time, the teams developing algorithms also need to become more gender-balanced. Today, however, for a number of reasons – including girls' self-censorship when it comes to scientific fields, and the sexism that reigns in high-tech companies – very few women study computer science. It will take time to reverse this trend.

Vincent: Of course, the algorithms need to be educated, but changing a few lines of code will not be enough to solve the problems. We must bear in mind that there will be no willingness to code for equality if the teams involved do not include women.