AI Translation में कम सामग्री वाली भाषाओं की बड़ी चुनौती

आज के समय में artificial intelligence के लिए दुनिया की कई भाषाओं को समझना अभी भी आसान नहीं है। जिन भाषाओं में internet पर बड़ी मात्रा में लिखित सामग्री उपलब्ध है, उनके लिए भाषा से जुड़ी तकनीक तेजी से बेहतर हुई है। लेकिन ऐसी भाषाओं के मामले में परेशानी ज्यादा है, जिनकी सामग्री इंटरनेट पर बहुत कम मौजूद है। समस्या मशीन की क्षमता से ज्यादा उपलब्ध सामग्री की है।

कम संसाधन वाली भाषाओं के लिए AI की चुनौती

इसे समझने के लिए दो विद्यार्थियों का उदाहरण लिया जा सकता है। अगर एक विद्यार्थी के पास किताबों, समाचारों, फिल्मों के संवाद और पहले से किए गए अनुवादों से भरी लाइब्रेरी हो, तो उसके लिए सीखना आसान होगा। वहीं दूसरे विद्यार्थी के पास केवल एक शब्दकोश, कुछ दस्तावेज और अलग-अलग जगहों से मिली थोड़ी सामग्री हो, तो उसे उसी काम में ज्यादा कठिनाई होगी। भाषाओं के साथ भी कुछ ऐसा ही होता है।

 

दुनिया में करीब 7,000 भाषाएं बोली जाती हैं, लेकिन इनमें से बहुत कम भाषाओं के लिए Digital Enough सामग्री उपलब्ध है। ऐसी भाषाओं को आमतौर पर कम संसाधन वाली भाषा कहा जाता है। इसका मतलब यह नहीं है कि भाषा कम महत्वपूर्ण है या उसे बोलने वाले लोग कम हैं। असली समस्या यह है कि उस भाषा में कंप्यूटर के लिए उपयोगी सामग्री, दो भाषाओं में मौजूद समान वाक्य और जांच के लिए पर्याप्त उदाहरण बहुत कम हैं।

सिर्फ शब्दकोश से भाषा समझना संभव नहीं

किसी भाषा का केवल शब्दकोश उपलब्ध होना पर्याप्त नहीं होता। किसी वाक्य का सही अर्थ समझने के लिए उसके व्याकरण, संदर्भ, बोलने के तरीके और शब्दों के क्रम को भी समझना पड़ता है। एक ही शब्द अलग परिस्थितियों में अलग अर्थ दे सकता है। सरकारी सूचना, सामान्य बातचीत और स्वास्थ्य से जुड़ी जानकारी में भाषा का इस्तेमाल अलग तरीके से हो सकता है। इसलिए अच्छी भाषा तकनीक के लिए केवल शब्दों के बजाय पूरे वाक्यों और लंबे लेखों से सीखना जरूरी है।

जिन भाषाओं के लिए बहुत अधिक सामग्री उपलब्ध है, वहां समान अर्थ वाले वाक्यों के बड़े संग्रह तैयार किए जा सकते हैं। इनमें एक भाषा के वाक्य के सामने दूसरी भाषा का उसी अर्थ वाला वाक्य होता है। इससे मशीन को यह समझने में मदद मिलती है कि एक भाषा की बात दूसरी भाषा में किस तरह कही जाती है। कम संसाधन वाली भाषाओं में ऐसे संग्रह बहुत छोटे होने के कारण अच्छी तकनीक तैयार करना मुश्किल हो जाता है।

इंटरनेट पर भाषाओं की सामग्री में बड़ा अंतर

इंटरनेट पर उपलब्ध सामग्री का अंतर भी काफी बड़ा है। वर्ष 2026 के एक बड़े वेब संग्रह में अंग्रेजी भाषा की पहचान की गई सामग्री लगभग 40.6 प्रतिशत थी, जबकि असमिया की हिस्सेदारी केवल 0.0046 प्रतिशत रही। यानी दोनों के बीच online content का अंतर लगभग 8,800 गुना था। यह किसी एक कृत्रिम बुद्धिमत्ता प्रणाली के प्रशिक्षण की मात्रा नहीं बताता, लेकिन इससे यह जरूर पता चलता है कि कुछ भाषाओं के लिए बड़े स्तर पर सामग्री जुटाना कितना आसान है और कुछ के लिए कितना कठिन।

दो भाषाओं में मौजूद समान वाक्यों के संग्रह में भी बड़ा अंतर दिखाई देता है। अंग्रेजी और फ्रेंच के लिए लगभग 28 करोड़ समान वाक्यों का संग्रह उपलब्ध बताया गया है। इसके मुकाबले अंग्रेजी और म्यांमार के लिए करीब 7 लाख और अंग्रेजी तथा फॉन के लिए करीब 35 हजार वाक्य उपलब्ध हैं। इससे साफ होता है कि सभी भाषाओं को सीखने के लिए मशीनों के पास समान अवसर नहीं हैं।

उपलब्ध सामग्री की गुणवत्ता भी महत्वपूर्ण

समस्या केवल सामग्री की मात्रा तक सीमित नहीं है। जो सामग्री उपलब्ध होती है, वह कई बार धार्मिक प्रकाशनों, सरकारी दस्तावेजों या कुछ शैक्षणिक परियोजनाओं तक सीमित रहती है। ऐसी सामग्री से तैयार प्रणाली औपचारिक भाषा को अच्छी तरह समझ सकती है, लेकिन रोजमर्रा की बातचीत, स्थानीय शब्दों, नए विषयों और स्वास्थ्य या तकनीक जैसे विशेष क्षेत्रों में परेशानी हो सकती है।

इस कमी को दूर करने के लिए Researcher कई तरीकों का इस्तेमाल कर रहे हैं। एक तरीका कई भाषाओं को एक साथ सिखाने का है, जिससे ज्यादा सामग्री वाली भाषाओं से सीखे गए पैटर्न का फायदा कम सामग्री वाली भाषाओं को मिल सके। दूसरा तरीका पहले से मौजूद सामान्य पाठ से नए उदाहरण तैयार करना है। इससे प्रशिक्षण के लिए उपलब्ध सामग्री बढ़ाई जा सकती है।

स्थानीय लोगों की भागीदारी क्यों जरूरी

हालांकि इन तरीकों की भी सीमाएं हैं। मशीन द्वारा बनाए गए उदाहरणों में गलतियां हो सकती हैं और अगर मूल सामग्री में वर्तनी या भाषा का इस्तेमाल एक जैसा नहीं है, तो परिणाम प्रभावित हो सकता है। इसलिए स्थानीय भाषा बोलने वाले लोगों की भूमिका बहुत महत्वपूर्ण रहती है। वे यह जांच सकते हैं कि तैयार किया गया अनुवाद केवल शब्दों के हिसाब से सही है या वास्तव में उस भाषा में स्वाभाविक भी लगता है।

पूर्वोत्तर भारत की भाषाओं पर परीक्षण

हाल में पूर्वोत्तर भारत की कुछ भाषाओं पर किए गए एक परीक्षण ने इस दिशा में उम्मीद दिखाई है। इसमें बोडो, कोकबोरोक, करबी, नागामीज और टैगिन जैसी भाषाओं को बहुत कम प्रशिक्षण सामग्री वाली श्रेणी में रखा गया था। एक तकनीकी कंपनी ने इन पांचों भाषाओं से अंग्रेजी में अनुवाद के परीक्षण में हिस्सा लिया। प्रकाशित परिणामों के अनुसार, उसकी प्रणालियों ने कोकबोरोक, करबी, नागामीज और टैगिन के चार परीक्षणों में सबसे बेहतर परिणाम हासिल किए।

इस उपलब्धि का यह अर्थ नहीं है कि कम संसाधन वाली भाषाओं के लिए अनुवाद की समस्या पूरी तरह हल हो गई है। असली परीक्षा तब होती है जब प्रणाली को नए विषयों, स्थानीय बोलियों, रोजमर्रा की भाषा और अलग-अलग परिस्थितियों से गुजरना पड़ता है। इसके लिए बेहतर सामग्री तैयार करना, स्थानीय लोगों की भागीदारी बढ़ाना और परिणामों की सही जांच करना अभी भी जरूरी है।

अगर ऐसी भाषाओं के लिए तकनीक बेहतर होती है, तो शिक्षा, सरकारी जानकारी, Internet services और Digital features तक लोगों की पहुंच बढ़ सकती है। असली सफलता केवल इस बात से नहीं मापी जाएगी कि मशीन कितनी भाषाओं का अनुवाद कर सकती है, बल्कि इससे होगी कि कितने लोग अपनी भाषा छोड़े बिना इंटरनेट और आधुनिक तकनीक की दुनिया से जुड़ पा रहे हैं।

Disclaimer: यह जानकारी सामान्य समाचार उद्देश्य के लिए है और इसे किसी तकनीकी या निवेश सलाह के रूप में न लें।