AI सिस्टम "तटस्थ मशीनें" लग सकते हैं, लेकिन वे लोगों द्वारा बनाए गए डेटा से सीखते हैं। यदि उस डेटा में सामाजिक असमानताएँ, कम प्रतिनिधित्व या अतीत के गलत निर्णय शामिल हैं, तो सिस्टम उन्हें सीख लेता है और कभी-कभी उन्हें और बढ़ा देता है। इसे AI में पक्षपात (bias) कहा जाता है।
पक्षपात कहाँ से आता है?
- असंतुलित डेटा: यदि प्रशिक्षण डेटा में कुछ समूहों का प्रतिनिधित्व कम है, तो सिस्टम उनके लिए खराब काम करता है।
- अतीत को दर्शाना: यदि अतीत के निर्णय भेदभावपूर्ण थे, तो उनका अनुकरण करने वाला मॉडल भी भेदभावपूर्ण परिणाम देगा।
- मापन और लेबलिंग: "सफलता" को गलत तरीके से परिभाषित करना, या लेबल करने वालों का अपना पक्षपात।
- उपयोग का संदर्भ: किसी एक देश या समूह में विकसित सिस्टम को बिना जांचे दूसरे परिवेश में उपयोग करना।
वास्तविक उदाहरण
MIT के जॉय बुओलामविनी और टिमनिट गेब्रू द्वारा 2018 के "Gender Shades" अध्ययन ने दिखाया कि वाणिज्यिक लिंग वर्गीकरण (gender classification) सिस्टम हल्के रंग के पुरुषों के लिए लगभग त्रुटिहीन थे, लेकिन गहरे रंग की महिलाओं के लिए उनमें त्रुटि दर बहुत अधिक थी। 2019 में अमेरिकी राष्ट्रीय मानक और प्रौद्योगिकी संस्थान (NIST) द्वारा किए गए परीक्षणों में भी कई फेशियल रिकग्निशन एल्गोरिदम में विभिन्न जनसांख्यिकीय समूहों के बीच अलग-अलग त्रुटि दर पाई गई। 2018 की रॉयटर्स रिपोर्ट के अनुसार, अमेज़न ने पिछले सीवी (CV) पर प्रशिक्षित एक प्रायोगिक भर्ती टूल को हटा दिया था जो महिला उम्मीदवारों के प्रति पक्षपाती था।
लार्ज लैंग्वेज मॉडल और इमेज जनरेटर भी पक्षपात दिखा सकते हैं, जैसे नौकरियों को विशेष लिंगों से जोड़ना या कुछ संस्कृतियों को रूढ़िवादी तरीकों से चित्रित करना।
यह क्यों मायने रखता है?
फिल्म अनुशंसा (recommendation) में पक्षपात परेशान करने वाला हो सकता है; लेकिन भर्ती, क्रेडिट स्कोरिंग, स्वास्थ्य सेवा, सामाजिक लाभ या न्याय प्रणाली में, पक्षपात सीधे लोगों के जीवन को प्रभावित कर सकता है। इसीलिए EU AI Act उच्च-जोखिम वाले सिस्टम के लिए डेटा गुणवत्ता, दस्तावेज़ीकरण और मानवीय निरीक्षण की आवश्यकताएं निर्धारित करता है।
इससे निपटने के तरीके
- विविध और प्रतिनिधि डेटा सेट का उपयोग करें।
- रिलीज़ करने से पहले विभिन्न समूहों में सिस्टम का अलग से परीक्षण करें और परिणाम प्रकाशित करें।
- ऐसे ऑडिट करने योग्य सिस्टम डिज़ाइन करें जो समझा सकें कि निर्णय कैसे लिए गए।
- महत्वपूर्ण निर्णयों पर अंतिम निर्णय मनुष्य पर छोड़ दें और अपील करने का तरीका प्रदान करें।
- विकास टीमों में विभिन्न दृष्टिकोणों को शामिल करें।
उपयोगकर्ताओं के लिए सुझाव
AI टूल द्वारा निर्मित टेक्स्ट और छवियों का आलोचनात्मक रूप से उपयोग करें; विशेष रूप से लोगों, समूहों और संस्कृतियों के बारे में सामान्यीकरण (generalisations) पर ध्यान दें। जब कोई स्वचालित निर्णय आपको प्रभावित करता है, तो यह जानने के बारे में पता करें कि इसे कैसे बनाया गया था और इसे चुनौती देने का आपका अधिकार क्या है।
पक्षपात को कैसे मापा जाता है? निष्पक्षता मेट्रिक्स (Fairness metrics)
यह समझने के लिए कि क्या कोई मॉडल पक्षपाती है, इसके परिणामों की विभिन्न समूहों में तुलना की जानी चाहिए। शोधकर्ता अक्सर इन मेट्रिक्स का उपयोग करते हैं:
- जनसांख्यिकीय समानता (Demographic parity): यह जाँचता है कि क्या सकारात्मक निर्णयों (उदाहरण के लिए, ऋण स्वीकृति) की दर विभिन्न समूहों में समान है।
- समान त्रुटि दर (Equal error rates): समूहों के बीच फॉल्स पॉजिटिव और फॉल्स नेगेटिव दरें करीब होने की अपेक्षा की जाती है।
- कैलिब्रेशन (Calibration): जब मॉडल कहता है "70 प्रतिशत संभावना", तो वह भविष्यवाणी वास्तव में हर समूह में लगभग 70 प्रतिशत बार सही होनी चाहिए।
एक महत्वपूर्ण बिंदु: अलेक्जेंड्रा चोल्डेकोवा के 2017 के अध्ययन ने दिखाया कि जब समूहों की आधार दरें (base rates) अलग होती हैं, तो कैलिब्रेशन और समान त्रुटि दर दोनों को एक साथ पूरी तरह से संतुष्ट नहीं किया जा सकता है। यही कारण है कि एक "निष्पक्ष मॉडल" कोई एकल संख्या नहीं है, बल्कि संदर्भ के अनुसार किया गया एक सचेत चुनाव है, और उस चुनाव के पीछे के तर्क को खुले तौर पर लिखा जाना चाहिए।
कानूनी ढांचा और मानक
2022 में प्रकाशित अपनी SP 1270 रिपोर्ट में, अमेरिकी राष्ट्रीय मानक और प्रौद्योगिकी संस्थान (NIST) AI पक्षपात को तीन मुख्य स्रोतों में विभाजित करता है: प्रणालीगत (संस्थागत और सामाजिक), सांख्यिकीय/कंप्यूटेशनल (डेटा और मॉडल से आने वाला) और मानवीय (डिज़ाइन और उपयोग के निर्णयों से आने वाला)। रिपोर्ट इस बात पर जोर देती है कि समस्या को केवल तकनीकी सुधारों से हल नहीं किया जा सकता है।
यूरोपीय संघ का आर्टिफिशियल इंटेलिजेंस एक्ट (Regulation 2024/1689) यह आवश्यक बनाता है कि भर्ती या क्रेडिट मूल्यांकन जैसे उच्च-जोखिम वाले सिस्टम में, प्रशिक्षण डेटा की संभावित पक्षपातों के लिए जांच की जाए और उन्हें रोकने के लिए उचित उपाय किए जाएं। संगठनों के लिए, इसका अर्थ है कि पक्षपात परीक्षण एक वैकल्पिक अच्छी प्रथा से बदलकर एक कानूनी दायित्व बन जाता है।
स्रोत और आगे पढ़ने के लिए
- Buolamwini, J. and Gebru, T., “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”, FAT* (2018).
- NIST, “Face Recognition Vendor Test (FRVT) Part 3: Demographic Effects”, NISTIR 8280 (2019).
- Reuters, “Amazon scraps secret AI recruiting tool that showed bias against women” (2018).
- European Union, Artificial Intelligence Act (Regulation 2024/1689).
- NIST SP 1270 – Towards a Standard for Identifying and Managing Bias in Artificial Intelligence (2022)
- EUR-Lex – Regulation (EU) 2024/1689 (Artificial Intelligence Act), Article 10
- Chouldechova, A. (2017). Fair prediction with disparate impact. Big Data, 5(2)
एक टिप्पणी छोड़ें
आपका ईमेल पता प्रकाशित नहीं किया जाएगा। आवश्यक फ़ील्ड * से चिह्नित हैं