AI की गलतियों और झूठ से मिलेगा छुटकारा - AI Hallucination अब और नहीं?

  राम राम मित्रों! दोस्तों, क्या आपके साथ भी ऐसा हुआ है कि आपने AI से कुछ पूछा और उसने एकदम कॉन्फिडेंट टोन में आपको उत्तर दे दिया, लेकिन क्योंकि आप उस विषय के जानकर थे, आपने पकड़ किया कि यहां AI झूठ या लगत बोल रहा है? दुर्भाग्य से आज के चैटबोट्स में यह समस्या आम है। यही कारण है कि हर रिस्पांसिबल AI चैटबोट आपसे कहता है कि उसके द्वारा दिए गए रिस्पॉन्सेस को डबल चेक कर लें। पर यह वर्तमान की बात जरूर है, भविष्य की नहीं! क्योंकि AI कंपनीज़ और वैज्ञानिक लगातार AI मॉडल्स की इस समस्या से सॉल्व करने में लगे हैं, और इसी कड़ी में OpenAI ने एक एक रिसर्च पेपर पब्लिश किया है, "Why Language Models Hallucinate", हम इसी पेपर की फाइंडिंग्स को इस ब्लॉग पोस्ट में डिस्कस करेंगे, आसान शब्दों में!

जब भी AI चैटबॉट हमें गलत या झूठा जवाब देता है, खासकर कॉम्प्लेक्स प्रॉम्प्ट में या लम्बी कन्वर्सेशन में, तो इसे AI की दुनिया में "हॉलुसिनेशन"(Hallucination) या "कन्फैब्युलेशन"(Confabulation) कहा जाता है। यानी, AI का तथ्यों के साथ अपनी कल्पना मिला देना।

अब तक हम सोचते थे कि यह एक 'बग' (bug) है, एक गलती है जिसे ठीक किया जा सकता है। लेकिन OpenAI की एक ताज़ा रिसर्च पेपर कहती है कि यह कोई बग नहीं, बल्कि AI के ट्रेनिंग के तरीके का एक अनपेक्षित 'साइड इफेक्ट' (side effect) है। और हैरानी की बात यह है कि, हम खुद ही इन हॉलुसिनेशन्स को बढ़ावा दे रहे हैं!

चलिए, सरल भाषा में समझते हैं कि आखिर यह होता क्यों है और इसका हल क्या है।

मॉडल ट्रेनिंग में ही छिपी है हॉलुसिनेशन की जड़

OpenAI के रिसर्चर्स के मुताबिक, AI के झूठ बोलने के दो मुख्य कारण हैं:

1. ट्रेनिंग के दौरान पैदा होती है समस्या (Origin in Pretraining)

AI मॉडल्स को इंटरनेट जैसे विशाल डेटा पर ट्रेन किया जाता है। उनका लक्ष्य होता है अगला सबसे संभावित शब्द पूर्वानुमानित(prediction) करना। इसे 'क्रॉस-एन्ट्रॉपी लॉस' कम करना कहते हैं।

सीधे शब्दों में समझें: AI एक ऐसा विद्यार्थी है जिसे रट्टा मारकर पूरी लाइब्रेरी याद करवाई गई है। अब अगर आप उससे कोई ऐसा सवाल पूछें जो उसे ठीक से याद नहीं, तो वह उत्तर देगा ही। वह यह नहीं कहेगा कि "मैं नहीं जानता", बल्कि अपनी 'याद्दाश्त' के आधार पर एक अनुमानित जवाब गढ़ देगा। खासकर ऐसे तथ्य जो ट्रेनिंग डेटा में सिर्फ एक बार आए हों (जैसे किसी का जन्मदिन), उनमें hallucination की संभावना सबसे ज्यादा होती है।

2. एग्जाम का गलत तरीका बढ़ाता है समस्या (Persistence in Post-Training)

ट्रेनिंग के बाद, AI मॉडल्स को और समझदार बनाने के लिए RLHF (Reinforcement Learning from Human Feedback) जैसी तकनीकों से पॉलिश किया जाता है। लेकिन समस्या यहाँ भी बनी रहती है।

क्यों? क्योंकि हमारे 'एग्जाम' (बेंचमार्क टेस्ट) गलत हैं!

ज्यादातर बेंचमार्क टेस्ट्स में marking scheme ऐसी होती है:

• सही जवाब = +1 अंक
• गलत जवाब = 0 अंक
• "मैं नहीं जानता" (I don't know) = 0 अंक

अब, एक AI स्टूडेंट की सोचिए। अगर उसे सही जवाब नहीं पता, तो उसके पास दो options हैं:

• (A) कह दो "मैं नहीं जानता" और 0 अंक पाओ।
• (B) एक अनुमान लगाओ। अगर भाग्य से सही हो गया तो +1 अंक मिलेंगे, गलत हुआ तो भी 0 अंक ही मिलेंगे।

इस marking scheme में अनुमान लगाना ही सबसे फायदेमंद स्ट्रैटेजी है! इसीलिए AI मॉडल्स bluff करना सीख जाते हैं, ठीक उस इंसान की तरह जो हर नहीं आने वाले सवाल का जवाब guess करके 'C' option(तुक्का) भर देता है।

क्या है AI मॉडल्स में Hallucination का समाधान? OpenAI का प्रस्ताव

OpenAI के रिसर्चर्स कहते हैं कि हॉलुसिनेशन्स को पूरी तरह खत्म करना शायद नामुमकिन है, लेकिन इन्हें कंट्रोल किया जा सकता है।

इसके लिए वो एक सोशियो-टेक्निकल सॉल्यूशन (तकनीक + मानव व्यवहार का मेल) प्रस्तावित करते हैं।

हल है: marking scheme बदलो!

नया evaluation system कुछ ऐसा होना चाहिए:

• सही जवाब = +1 अंक (जैसा पहले था)
• गलत जवाब = -1 अंक (सजा! पहले 0 था)
• "मैं नहीं जानता" = 0 अंक (न्यूट्रल, पहले जैसा)

अब, AI स्टूडेंट के options देखिए:

• (A) पता न हो तो "मैं नहीं जानता" कहो और 0 अंक सुरक्षित रखो।
• (B) Guess करो। अगर सही हुआ तो +1 अंक, लेकिन गलत हुआ तो -1 अंक का नुकसान!

अब अनुमान लगाना जोखिम भरा हो गया है। सबसे समझदारी की बात होगी कि जब पक्का ज्ञान न हो, तो चुप रहा जाए। यही व्यवहार हम इंसानों में भी होता है।

OpenAI का सुझाव है कि मुख्य बेंचमार्क टेस्ट्स के निर्देशों में ही "कॉन्फिडेंस टार्गेट" जोड़ देना चाहिए। जैसे, "केवल तभी जवाब देना जब आपकी confidence 90% से अधिक हो, नहीं तो 'IDK'(I don't know) कहना।"

क्या भविष्य में AI अधिक ईमानदार होगा?

ऐसा लगता है कि OpenAI पहले से ही इस दिशा में काम कर रहा है। रिसर्च पेपर में GPT-5 के एक संस्करण (प्रोटोटाइप) का जिक्र है जो आत्मविश्वास से कहता है, "I don't know", यह एक बड़ा संकेत है कि आने वाले AI मॉडल्स guesswork करने की बजाय uncertainty (अनिश्चितता) जताना सीख रहे हैं।

निष्कर्ष: असली बदलाव AI कंपनीज़ को अपने माइंडसेट में करना होगा

OpenAI की यह रिसर्च हमें एक अहम सबक देती है: AI की समस्याएं अक्सर AI के सिस्टम की नहीं, बल्कि कंपनीज़ के द्वारा बनाए गए इनाम और सजा के सिस्टम की होती हैं।

अगर हम चाहते हैं कि AI और अधिक सच्चा, विश्वसनीय और विनम्र बने, तो हमें उसे मापने के अपने पैमानों को बदलना होगा। हॉलुसिनेशन्स की जिम्मेदारी सिर्फ AI की नहीं, बल्कि उसे हमेशा सही जवाब देने के लिए दबाव डालने वाली हमारी expectations की भी है।

आपकी क्या राय है?

• क्या आप AI के "I don't know" कहने को पसंद करेंगे, या फिर उसका एक अनुमान लगाना बेहतर है?(याद रखिए, जब AI guess करके रिस्पांस देता है, तब वो हमें यह नहीं बताता कि वो guess कर रहा है, बल्कि हमेशा की तरह कॉन्फिडेंट ही दिखता है!)
• आपके अनुभव में, किस AI चैटबॉट ने सबसे ज्यादा/कम हॉलुसिनेशन किया है?

नीचे कमेंट करके अपने विचार जरूर शेयर करें! और इस पोस्ट को शेयर करें ताकि और लोग AI की इस दिलचस्प खामी के बारे में जान सकें।

वैसे तो यह एक जटिल रिसर्च पेपर है(जैसा कि रिसर्च पेपर्स आमतौर पर होते हैं), लेकिन इस ब्लॉग में मैने प्रयास किया कि इसे ज्यादा से ज्यादा लोग समझे, फिर भी अगर आप इसे और टेक्निकली समझना चाहते हैं तो पूरा पेपर Why Language Models Hallucinate पढ़ सकते हैं।