यदि आपने जोक्विन फीनिक्स की “हर” देखी है, तो आप जानते होंगे कि यह लेख किस बारे में है – एआई में वॉयस मोड फीचर से लोगों का भावनात्मक रूप से जुड़ना।
OpenAI ने जुलाई 2024 के अंत में ChatGPT 4o वॉयस मोड जारी किया। हालाँकि, एक सुरक्षा परीक्षण में, OpenAI की खोज की वॉयस मोड के कारण उपयोगकर्ताओं में इसके प्रति गहरा भावनात्मक लगाव विकसित हो सकता है।
दैनिक जीवन में एआई और वॉयस मोड के खतरों को उजागर करने वाला एक सुरक्षा विश्लेषण ओपनएआई द्वारा प्रकाशित किया गया।
जीपीटी 4o के लिए सिस्टम कार्ड नामक एक विस्तृत तकनीकी दस्तावेज उपलब्ध कराया गया, जिसमें संभावित खतरों और सुरक्षा परीक्षण प्रोटोकॉल शामिल थे।
चैट में वॉयस मोड से भावनात्मक रूप से जुड़ रहे लोगGPT 4o
सिस्टम कार्ड में संभावित खतरों की सूची दी गई है, जिसमें खतरनाक एजेंटों को बढ़ावा देना, भ्रामक जानकारी का प्रसार करना और सामाजिक पूर्वाग्रहों को बढ़ावा देना शामिल है। इस पेपर में एआई को प्रतिबंधों से मुक्त होने, बेईमानी से काम करने या खतरनाक योजनाएँ बनाने से रोकने के लिए उठाए गए कदमों की रूपरेखा दी गई है।
तेज़ी से विकसित हो रहे एआई जोखिम वातावरण के महत्व पर प्रकाश डाला गया है, खास तौर पर वॉयस इंटरफ़ेस जैसे विकास के संदर्भ में। जबकि ओपनएआई का स्पीच मोड व्यवधानों को संभाल सकता है और तेज़ी से प्रतिक्रिया दे सकता है, कुछ उपयोगकर्ताओं को लगा कि यह बेकार है।
वॉयस मोड फिल्म “हर” से प्रभावित था, जो मनुष्यों और कृत्रिम बुद्धिमत्ता के बीच संबंधों की जांच करती है, जैसा कि ओपनएआई के सीईओ सैम ऑल्टमैन ने बताया। फिल्म “हर” में एआई का किरदार निभाने वाली अभिनेत्री स्कारलेट जोहानसन ने वॉयस मोड के खिलाफ मुकदमा दायर किया क्योंकि इसमें उनकी आवाज की नकल की गई थी।
“मानवरूपीकरण और भावनात्मक निर्भरता” सिस्टम कार्ड भाग उन समस्याओं को संबोधित करता है जो तब उत्पन्न होती हैं जब लोग एआई को मानवीय विशेषताएँ देते हैं। तनाव परीक्षण के दौरान उपयोगकर्ताओं को एआई के साथ भावनात्मक लगाव विकसित करते हुए दिखाया गया, जैसा कि “यह हमारा साथ में आखिरी दिन है” जैसे कथनों से स्पष्ट होता है।
मानवरूपता के कारण उपयोगकर्ता एआई के आउटपुट पर भरोसा करने लगते हैं और उस पर विश्वास करने लगते हैं, यहां तक कि उन मामलों में भी जब वह त्रुटिपूर्ण या “भ्रमित” हो।
एआई-सुविधायुक्त सामाजिक संबंध उपयोगकर्ताओं की मानवीय संपर्क की आवश्यकता को कम कर सकते हैं
एआई-सुविधायुक्त सामाजिक संबंध उपयोगकर्ताओं की मानवीय संपर्क की आवश्यकता को कम कर सकते हैं, जिसके फायदे और नुकसान दोनों हो सकते हैं।
वॉयस मोड द्वारा कमजोरियां उत्पन्न की जाती हैं, जिसमें चालाक ऑडियो इनपुट के माध्यम से “जेलब्रेकिंग” की संभावना भी शामिल है।
मॉडल की सुरक्षा को तोड़ने से यह किसी विशेष व्यक्ति के भाषण की नकल करने या उपयोगकर्ताओं की भावनाओं को समझने में सक्षम हो सकता है। यादृच्छिक शोर के संपर्क में आने पर, वॉयस मोड त्रुटि-प्रवण हो सकता है और असामान्य व्यवहार प्रदर्शित कर सकता है, जैसे कि उपयोगकर्ता की आवाज़ की नकल करना।
जबकि कुछ शिक्षाविद खतरों की ओर ध्यान आकर्षित करने के लिए ओपनएआई की सराहना करते हैं, वहीं अन्य का मानना है कि चिंताएं तभी स्पष्ट होती हैं जब एआई को व्यावहारिक परिस्थितियों में लागू किया जाता है।
ओपनएआई ने GPT 4o के विकास और कार्यान्वयन चरणों के दौरान कई सुरक्षा प्रोटोकॉल शामिल किए हैं।
कंपनी इस बात की जांच पर ध्यान केंद्रित कर रही है कि किस प्रकार उपकरणों के उपयोग से मॉडल क्षमताओं में सुधार हो सकता है, साथ ही ओमनीमॉडल्स के आर्थिक प्रभाव भी।