प्रौद्योगिकी की दुनिया में, बड़े भाषा मॉडल (एलएलएम) पाठ उत्पन्न करने, भाषाओं का अनुवाद करने और व्यावहारिक उत्तर प्रदान करने की अपनी उल्लेखनीय क्षमता के साथ लहरें पैदा कर रहे हैं। शब्द अनुक्रम या शब्दों का क्रम बड़े भाषा मॉडल और सामान्य रूप से भाषा प्रसंस्करण में महत्वपूर्ण भूमिका निभाता है। शब्दों का क्रम वाक्य का अर्थ निर्धारित करता है।
एलएलएम क्या है?
बड़ी भाषा मॉडलिंग प्राकृतिक भाषा प्रसंस्करण (एनएलपी) में उन्नत और व्यापक भाषा मॉडल के उपयोग को संदर्भित करती है। मशीन लर्निंग और कृत्रिम बुद्धिमत्ता के संदर्भ में, भाषा मॉडल एक प्रकार का मॉडल है जिसे मानव जैसी भाषा को समझने और उत्पन्न करने के लिए बड़ी मात्रा में टेक्स्ट डेटा पर प्रशिक्षित किया जाता है।
“बड़े भाषा मॉडल में, शब्दों के अनुक्रम का उपयोग वाक्य में अगले शब्द की भविष्यवाणी करने के लिए किया जाता है। मॉडल को पाठ के एक बड़े संग्रह पर प्रशिक्षित किया जाता है और पिछले शब्दों को देखते हुए एक शब्द की संभावना सीखता है। इसलिए, यदि आप किसी वाक्य की शुरुआत में इनपुट करते हैं, तो मॉडल यह अनुमान लगा सकता है कि आगे कौन सा शब्द आने की संभावना है, और यह उस क्रम को समझकर ऐसा करता है जिसमें शब्द आमतौर पर दिखाई देते हैं। इसी अवधारणा को अब अनुशंसा प्रणालियों पर लागू किया जा सकता है। उदाहरण के लिए, अगले गीत या फिल्म की अनुशंसा करते समय, पिछली कार्रवाइयां (सुने गए गाने, देखी गई फिल्में) अगली अनुशंसा के लिए संदर्भ स्थापित कर सकती हैं। अब हम कल्पना कर सकते हैं कि प्लेटफ़ॉर्म पर उपयोगकर्ता की गतिविधियां (गाने सुने गए, फिल्में देखी गईं) बिल्कुल शब्दों की तरह हैं, प्लेटफ़ॉर्म भाषा के निर्माण खंड, और उपयोगकर्ता द्वारा की जाने वाली बातचीत का क्रम एक वाक्य की तरह है। अब हम इस फॉर्मूलेशन का लाभ उठाकर अगली संभावित सामग्री (या शब्द) की भविष्यवाणी कर सकते हैं जिसके साथ उपयोगकर्ता जुड़ सकता है, जो कि एलएलएम के लिए बिल्कुल तैयार किया जा रहा है। ध्यान दें कि यही मुख्य समस्या है जिसे अनुशंसा प्रणाली हल करने का प्रयास कर रही है”, बड़े पैमाने पर अनुशंसा प्रणाली के निर्माण में अनुभव रखने वाले डीप लर्निंग के विशेषज्ञ आयुष मुद्गल ने समझाया।
आयुष ने यह भी विस्तार से बताया कि भाषा प्रसंस्करण से उधार ली गई एक और अवधारणा एम्बेडिंग है, विशेष रूप से शब्द एम्बेडिंग (जैसे Word2Vec या GloVe)। “ये एम्बेडिंग, जो उच्च-आयामी स्थान में शब्दों का प्रतिनिधित्व करते हैं, शब्दार्थ अर्थ और शब्दों के बीच संबंधों को पकड़ते हैं। इसी तरह, अनुशंसा प्रणालियों में, उपयोगकर्ता और आइटम एम्बेडिंग (जैसे गाने, और फिल्में) का उपयोग अंतर्निहित स्वाद/वरीयताओं और आइटम को पकड़ने के लिए किया जा सकता है विशेषताएँ। एंबेडिंग सुविधाओं का उद्देश्य सामग्री के उच्च-आयामी प्रतिनिधित्व को सीखना है ताकि यह सुनिश्चित किया जा सके कि समान सामग्री एक समान एम्बेडिंग सीखती है। यह कार्य अनुशंसा प्रणालियों के लिए बिल्डिंग ब्लॉक्स के रूप में सामग्री की विशेषता को बेहतर बनाने में मूलभूत रहा है। एक अच्छा प्रतिनिधित्व होने से हमें सक्षम बनाता है भाषा मॉडल का उपयोग करें,” उन्होंने कहा।
मशीन लर्निंग में, एक प्रसिद्ध प्रमेय है: यूनिवर्सल फ़ंक्शन प्रमेय जो बताता है कि पर्याप्त पैरामीटर दिए जाने पर तंत्रिका नेटवर्क किसी भी फ़ंक्शन को सीखने के लिए पर्याप्त शक्तिशाली हैं। एल्गोरिदम और संबंधित हार्डवेयर दोनों में ट्रांसफार्मर और समान वास्तुशिल्प प्रगति ने सैद्धांतिक सीमाओं का एहसास करना संभव बना दिया है। प्राकृतिक भाषा प्रसंस्करण, दृष्टि और अनुशंसा स्थानों में अनुसंधान एक साथ एकत्रित हो रहे हैं, एक डोमेन से दूसरे डोमेन में तकनीकों को व्यापक रूप से अपना रहे हैं।
आयुष ने यह भी साझा किया कि सिफ़ारिश प्रणालियों के लिए सीखने की सुविधा के इंटरैक्शन कैसे महत्वपूर्ण हैं। “उदाहरण के लिए, सुविधाओं को हाथ से तैयार करने से पहले, उपयोगकर्ता के स्थान और उम्र जैसी सुविधा यह समझने के लिए उपयोगी हो सकती है कि वे क्या चाहते हैं। ऐसी विशेषताएं पहले हाथ से तैयार की जाती थीं, जिससे नए नवाचारों की गति धीमी होने लगी। जैसे बेहतर आर्किटेक्चर में सुधार के साथ ट्रांसफार्मर। इनका उपयोग स्वयं-सीखने वाले फीचर इंटरैक्शन के लिए किया जा रहा है, जिससे फीचर इंजीनियरिंग आसान हो गई है, लेकिन साथ ही इसके प्रदर्शन में भी सुधार हो रहा है,” उन्होंने कहा।
उन्होंने बताया कि जीरो-शॉट लर्निंग नामक नई तकनीक बड़ा बदलाव ला रही है। यह अनुशंसा प्रणालियों को बेहतर बनाने के लिए गहन शिक्षण और जीपीटी जैसे मॉडल का उपयोग करता है। वे अब उन नई चीज़ों को संभाल सकते हैं जो उन्होंने अपने प्रशिक्षण के दौरान पहले नहीं देखी थीं। बेहतर ट्रांसफर लर्निंग के साथ, मनुष्य अब बहुत सारे प्रशिक्षण डेटा की आवश्यकता के बिना बेहतर अनुशंसा प्रणाली बना सकते हैं। काम करने के तरीके में यह एक बड़ा बदलाव है।