(केरी के. मोरवेज़, बोस्टन विश्वविद्यालय)
बोस्टन, 13 मई (द कन्वरसेशन) एल्गोरिदम आधुनिक जीवन का प्रमुख हिस्सा हैं। लोग विशाल कैटलॉग में से सर्वोत्तम फिल्में, मार्ग, जानकारी, उत्पाद, लोग और निवेश खोजने के लिए एल्गोरिथम अनुशंसाओं पर भरोसा करते हैं।
क्योंकि लोग अपने निर्णयों के बारे में एल्गोरिदम को प्रशिक्षित करते हैं - उदाहरण के लिए, एल्गोरिदम जो ई-कॉमर्स और सोशल मीडिया साइटों पर सिफारिशें करते हैं - एल्गोरिदम मानव पूर्वाग्रहों को सीखते हैं और उन्हें संहिताबद्ध करते हैं।
एल्गोरिथम अनुशंसाएँ लोकप्रिय विकल्पों और सूचनाओं के प्रति पूर्वाग्रह प्रदर्शित करती हैं जो आक्रोश पैदा करती हैं, जैसे पक्षपातपूर्ण समाचार।
सामाजिक स्तर पर, एल्गोरिथम पूर्वाग्रह न्यायिक प्रणाली में संरचनात्मक नस्लीय पूर्वाग्रह, कंपनियों द्वारा नियुक्त लोगों में लैंगिक पूर्वाग्रह और शहरी विकास में धन असमानता को बनाए रखते हैं और बढ़ाते हैं।
मानव पूर्वाग्रह को कम करने के लिए एल्गोरिथम पूर्वाग्रह का भी उपयोग किया जा सकता है। एल्गोरिदम संगठनों में छिपे संरचनात्मक पूर्वाग्रहों को प्रकट कर सकते हैं।
प्रोसीडिंग्स ऑफ द नेशनल एकेडमी ऑफ साइंस में प्रकाशित एक पेपर में, मैंने और मेरे सहयोगियों ने पाया कि एल्गोरिथम पूर्वाग्रह लोगों को अपने आप में पूर्वाग्रहों को बेहतर ढंग से पहचानने और सही करने में मदद कर सकता है।
दर्पण में पूर्वाग्रह
नौ प्रयोगों में, बेगम सेलिकिटुटन, रोमेन कैडारियो और मेरे शोध प्रतिभागियों ने उबर ड्राइवरों या एयरबीएनबी लिस्टिंग को उनके ड्राइविंग कौशल, विश्वसनीयता या लिस्टिंग को किराए पर लेने की संभावना के आधार पर रेटिंग दी थी।
हमने प्रतिभागियों को प्रासंगिक विवरण दिए, जैसे उनके द्वारा की गई यात्राओं की संख्या, संपत्ति का विवरण या स्टार रेटिंग। हमने जानकारी का एक अप्रासंगिक पूर्वाग्रह भी शामिल किया: एक तस्वीर से ड्राइवरों की उम्र, लिंग और आकर्षण का पता चलता है, या एक नाम जो दर्शाता है कि लिस्टिंग होस्ट श्वेत या अश्वेत थे।
प्रतिभागियों द्वारा अपनी रेटिंग बनाने के बाद, हमने उन्हें दो रेटिंग सारांशों में से एक दिखाया: एक उनकी अपनी रेटिंग दिखा रहा था, या एक एल्गोरिदम की रेटिंग दिखा रहा था जिसे उनकी रेटिंग पर प्रशिक्षित किया गया था।
हमने प्रतिभागियों को उस पक्षपातपूर्ण विशेषता के बारे में बताया जिसने इन रेटिंग्स को प्रभावित किया होगा; उदाहरण के लिए, एयरबीएनबी मेहमानों द्वारा विशिष्ट अफ्रीकी अमेरिकी नाम वाले मेज़बानों से जगह किराए पर लेने की संभावना कम होती है। फिर हमने उनसे यह निर्णय करने के लिए कहा कि सारांश में रेटिंग पर पूर्वाग्रह का कितना प्रभाव पड़ा।
चाहे प्रतिभागियों ने नस्ल, उम्र, लिंग या आकर्षण के पूर्वाग्रह प्रभाव का आकलन किया हो, उन्होंने एल्गोरिदम द्वारा बनाई गई रेटिंग में खुद की तुलना में अधिक पूर्वाग्रह देखा। यह एल्गोरिथम दर्पण प्रभाव इस बात पर कायम है कि क्या प्रतिभागियों ने वास्तविक एल्गोरिदम की रेटिंग का मूल्यांकन किया है या हमने प्रतिभागियों को उनकी अपनी रेटिंग दिखाई है और उन्हें भ्रामक रूप से बताया है कि एक एल्गोरिदम ने उन रेटिंगों को बनाया है।
प्रतिभागियों ने अपने स्वयं के निर्णयों की तुलना में एल्गोरिदम के निर्णयों में अधिक पूर्वाग्रह देखा, यहां तक ​​​​कि जब हमने प्रतिभागियों को नकद बोनस दिया, यदि उनके पूर्वाग्रह निर्णय एक अलग प्रतिभागी द्वारा किए गए निर्णयों से मेल खाते थे, जिन्होंने समान निर्णय देखे थे।
एल्गोरिथम दर्पण प्रभाव तब भी बना रहा, जब प्रतिभागी हाशिए की श्रेणी में थे - उदाहरण के लिए, एक महिला या अश्वेत के रूप में पहचान करके।
अनुसंधान प्रतिभागी अपने स्वयं के निर्णयों पर प्रशिक्षित एल्गोरिदम में पूर्वाग्रहों को देखने में सक्षम थे क्योंकि वे अन्य लोगों के निर्णयों में पूर्वाग्रहों को देखने में सक्षम थे।
साथ ही, प्रतिभागियों को अपने स्वयं के निर्णयों की तुलना में एल्गोरिदम के निर्णयों में नस्लीय पूर्वाग्रह के प्रभाव को देखने की अधिक संभावना थी, लेकिन उन्हें एल्गोरिदम के निर्णयों और स्वयं अपने निर्णय पर स्टार रेटिंग जैसी रक्षात्मक सुविधाओं के प्रभाव को देखने की भी समान संभावना थी।
पूर्वाग्रह ब्लाइंड स्पॉट
लोग एल्गोरिदम में अपने पूर्वाग्रहों को अधिक देखते हैं क्योंकि एल्गोरिदम लोगों के पूर्वाग्रह के ब्लाइंड स्पॉट को हटा देता है। अपने निर्णयों की तुलना में दूसरों के निर्णयों में पूर्वाग्रह देखना आसान है क्योंकि आप उनका मूल्यांकन करने के लिए विभिन्न साक्ष्यों का उपयोग करते हैं।
पूर्वाग्रह के लिए अपने निर्णयों की जांच करते समय, आप सचेत पूर्वाग्रह के सबूत खोजते हैं - चाहे आपने निर्णय लेते समय जाति, लिंग, आयु, स्थिति या अन्य अनुचित विशेषताओं के बारे में सोचा हो।
आप अपने निर्णयों में पूर्वाग्रह को नजरअंदाज करते हैं और उसे माफ कर देते हैं क्योंकि आपके पास सहयोगी मशीनरी तक पहुंच नहीं है जो आपके सहज निर्णयों को संचालित करती है, जहां पूर्वाग्रह अक्सर सामने आता है। आप सोच सकते हैं, “जब मैंने उन्हें काम पर रखा तो मैंने उनकी जाति या लिंग के बारे में नहीं सोचा। मैंने उन्हें केवल योग्यता के आधार पर काम पर रखा है।”
पूर्वाग्रह के लिए दूसरों के निर्णयों की जांच करते समय, आपके पास उन प्रक्रियाओं तक पहुंच नहीं होती है जिनका उपयोग वे निर्णय लेने के लिए करते हैं। तो आप पूर्वाग्रह के लिए उनके निर्णयों की जांच करें, जहां पूर्वाग्रह स्पष्ट है और नजरअंदाज करना कठिन है। उदाहरण के लिए, आप देख सकते हैं कि उन्होंने केवल गोरे लोगों को ही काम पर रखा था।
एल्गोरिदम पूर्वाग्रह के ब्लाइंड स्पॉट को हटा देता है क्योंकि आप एल्गोरिदम को अधिक उसी तरह देखते हैं जैसे आप अपने अलावा अन्य लोगों को देखते हैं। एल्गोरिदम की निर्णय लेने की प्रक्रिया एक ब्लैक बॉक्स है, उसी तरह जैसे आप अन्य लोगों के विचार तक नहीं पहुंच सकते हैं।
हमारे अध्ययन में भाग लेने वाले प्रतिभागियों में पूर्वाग्रह के ब्लाइंड स्पॉट को प्रदर्शित करने की सबसे अधिक संभावना थी, उनके अपने निर्णयों की तुलना में एल्गोरिदम के निर्णयों में अधिक पूर्वाग्रह देखने की संभावना थी।
लोग एल्गोरिदम में भी पूर्वाग्रह को बाहरी रूप देते हैं। एल्गोरिदम में पूर्वाग्रह देखना अपने आप में पूर्वाग्रह देखने से कम खतरनाक है, तब भी जब एल्गोरिदम को आपकी पसंद के अनुसार प्रशिक्षित किया जाता है। लोग इसका दोष एल्गोरिदम पर डालते हैं। एल्गोरिदम को मानवीय निर्णयों पर प्रशिक्षित किया जाता है, फिर भी लोग प्रतिबिंबित पूर्वाग्रह को ‘‘एल्गोरिदमिक पूर्वाग्रह’’ कहते हैं। सुधारात्मक लेंस
हमारे प्रयोगों से पता चलता है कि जब लोग एल्गोरिदम में प्रतिबिंबित होते हैं तो उनके पूर्वाग्रहों को ठीक करने की अधिक संभावना होती है।
अंतिम प्रयोग में, हमने प्रतिभागियों को उनके द्वारा मूल्यांकन की गई रेटिंग को सही करने का मौका दिया। हमने प्रत्येक प्रतिभागी को अपनी रेटिंग दिखाई, जिसका श्रेय हमने या तो प्रतिभागी को दिया या उनके निर्णयों पर प्रशिक्षित एल्गोरिदम को दिया।
जब प्रतिभागियों को किसी एल्गोरिथम के लिए जिम्मेदार ठहराया गया तो उनके द्वारा रेटिंग को सही करने की अधिक संभावना थी क्योंकि उनका मानना ​​था कि रेटिंग अधिक पक्षपाती थी। परिणामस्वरूप, जब अंतिम संशोधित रेटिंग को एक एल्गोरिदम के लिए जिम्मेदार ठहराया गया तो वे कम पक्षपातपूर्ण थे।
हानिकारक प्रभाव डालने वाले एल्गोरिथम पूर्वाग्रहों को अच्छी तरह से प्रलेखित किया गया है।
हमारे निष्कर्ष बताते हैं कि एल्गोरिथम पूर्वाग्रह का अच्छे के लिए लाभ उठाया जा सकता है। पूर्वाग्रह को ठीक करने के लिए पहला कदम इसके प्रभाव और दिशा को पहचानना है। हमारे पूर्वाग्रहों को उजागर करने वाले दर्पण के रूप में, एल्गोरिदम हमारे निर्णय लेने में सुधार कर सकते हैं।
द कन्वरसेशन एकता