Cisco Foundation AI ने अपने FAITH मूल्यांकन फ्रेमवर्क का विस्तार करते हुए Agentic FAITH पेश किया है। Cisco के 23 अक्टूबर 2026 के ब्लॉग के अनुसार, नया विस्तार ऐसे AI एजेंटों का मूल्यांकन करने के लिए बनाया गया है जो कई चरणों में काम करते हैं और टूल का इस्तेमाल करते हैं। साइबर सुरक्षा में ऐसा एजेंट किसी सॉफ्टवेयर रिपॉजिटरी की जाँच कर सकता है, संदिग्ध फाइलें खोज सकता है और उपलब्ध प्रमाण के आधार पर संभावित कमजोरी की रिपोर्ट दे सकता है। Cisco का लक्ष्य पारंपरिक सवाल-जवाब वाले बेंचमार्क और एजेंट आधारित परीक्षणों को एक समान कार्यप्रवाह में लाना है।
AI एजेंट का मूल्यांकन क्यों जरूरी है?
साधारण भाषा मॉडल से एक सवाल पूछा जा सकता है और उसके जवाब की गुणवत्ता देखी जा सकती है। लेकिन एजेंट आधारित प्रणाली अक्सर कई चरणों में काम करती है। वह पहले किसी निर्देश को समझती है, फिर टूल चुनती है, परिणाम पढ़ती है, अगला कदम तय करती है और अंत में उत्तर या कार्रवाई प्रस्तुत करती है। यदि बीच के चरण में गलती हो जाए, तो अंतिम जवाब गलत या अधूरा हो सकता है।
साइबर सुरक्षा जैसे क्षेत्र में गलती के दोनों तरह के परिणाम हो सकते हैं। एजेंट वास्तविक कमजोरी पहचानने में असफल हो सकता है, या सुरक्षित कोड को गलत तरीके से खतरनाक बता सकता है। पहले मामले में जोखिम छूट सकता है और दूसरे मामले में सुरक्षा टीम का समय बेकार हो सकता है। इसलिए मूल्यांकन में सही पहचान के साथ गलत अलर्ट से बचने की क्षमता भी देखना जरूरी है।
Cisco के FAITH फ्रेमवर्क में पहले से खतरे की जानकारी, कमजोरी वर्गीकरण और सुरक्षा ज्ञान से जुड़े बेंचमार्क शामिल थे। Agentic FAITH का उद्देश्य उन परीक्षणों को भी संभालना है जिनमें मॉडल को टर्मिनल जैसे टूल इस्तेमाल करने और कई चरणों में प्रमाण जुटाने पड़ते हैं।
Agentic FAITH कैसे काम करता है?
Cisco के विवरण के अनुसार, यह फ्रेमवर्क एजेंट और उसके टूलों के बीच होने वाली बातचीत को नियंत्रित तथा रिकॉर्ड कर सकता है। एजेंट कोई कार्रवाई चुनता है, टूल से परिणाम मिलता है और फिर एजेंट अगला कदम तय करता है। यह क्रम तब तक जारी रहता है जब तक एजेंट उत्तर जमा न कर दे या बेंचमार्क की निर्धारित सीमा पूरी न हो जाए।
मूल्यांकन कार्यप्रवाह में परीक्षण चलाना, परिणामों को स्कोर देना और रिपोर्ट तैयार करना शामिल है। टीम किसी बेंचमार्क को चला सकती है, उसके जवाबों को निर्धारित मानदंडों से जाँच सकती है और फिर परिणामों का सार देख सकती है। इससे अलग-अलग मॉडलों का परीक्षण एक समान शर्तों के तहत करने में मदद मिल सकती है।
इस तरह की व्यवस्था में परीक्षण की शर्तें स्पष्ट होना महत्वपूर्ण है। मॉडल को कौन से टूल उपलब्ध हैं, कितने चरणों तक काम कर सकता है, समय सीमा क्या है और किस तरह का उत्तर स्वीकार होगा, ये सभी बातें परिणाम को प्रभावित कर सकती हैं। यदि एक मॉडल को अधिक समय या अधिक टूल मिलें, तो तुलना निष्पक्ष नहीं रह सकती।
VulnLoc बेंचमार्क क्या जाँचता है?
Cisco ने VulnLoc को Agentic FAITH में पहली एकीकृत एजेंटिक बेंचमार्क व्यवस्था के रूप में पेश किया है। इसका उद्देश्य यह जाँचना है कि एजेंट किसी कोड रिपॉजिटरी में संभावित कमजोर फाइलों को कितनी अच्छी तरह खोज सकता है और पैच किए गए कोड को गलत तरीके से कमजोर बताने से कितना बचता है।
पहले चरण में एजेंट को रिपॉजिटरी का ऐसा संस्करण दिया जाता है जिसमें संबंधित कमजोरी मौजूद हो सकती है। एजेंट टर्मिनल टूल का उपयोग करके फाइलें खोजता है, कोड के हिस्सों की जाँच करता है और उन फाइलों की सूची देता है जिन्हें वह संदिग्ध मानता है। यदि कोई संबंधित कमजोरी नहीं मिलती, तो उसे यह भी स्पष्ट रूप से बताना चाहिए।
दूसरे चरण में पैच किए गए रिपॉजिटरी संस्करण को जाँचा जाता है। एजेंट से अपेक्षा की जाती है कि वह पहचाने कि बताई गई कमजोरी अब मौजूद नहीं है। यह चरण महत्वपूर्ण है, क्योंकि सुरक्षा टूल का काम केवल हर चीज को संदिग्ध बताना नहीं, बल्कि ठीक किए गए कोड को सही तरह पहचानना भी है।
गलत अलर्ट और सही पहचान का संतुलन
VulnLoc में Cisco ने प्रभावित फाइलों की पहचान के लिए File-set F1 जैसे मापदंड का उल्लेख किया है। यह देखता है कि एजेंट ने सही फाइलें कितनी पहचानीं और कितनी गलत या अतिरिक्त फाइलें चुनीं। यदि एजेंट जरूरी फाइल छोड़ देता है, तो उसकी पहचान अधूरी है। यदि वह बहुत सी असंबंधित फाइलों को भी चुनता है, तो सुरक्षा टीम को अनावश्यक जाँच करनी पड़ सकती है।
पैच किए गए कोड के चरण में true-negative rate जैसे मापदंड का इस्तेमाल किया जाता है। इसका उद्देश्य यह देखना है कि एजेंट उन स्थितियों में सही ढंग से कमजोरी की अनुपस्थिति पहचानता है या नहीं, जहाँ पैच लागू हो चुका है। अलग-अलग मापदंड साथ देखने से एजेंट की क्षमता का अधिक संतुलित चित्र मिल सकता है।
किसी एक स्कोर से पूरी सुरक्षा क्षमता तय नहीं होती। वास्तविक सॉफ्टवेयर रिपॉजिटरी बहुत बड़ी हो सकती हैं और उनमें कई तरह की कमजोरियाँ मौजूद हो सकती हैं। बेंचमार्क कुछ खास परिस्थितियों को दर्शाता है, इसलिए परिणाम को वास्तविक वातावरण के परीक्षण और विशेषज्ञ समीक्षा के साथ समझना चाहिए।
रिकॉर्डिंग और काम दोबारा शुरू करने की सुविधा
Cisco के अनुसार, FAITH एजेंट की बातचीत, टूल कॉल, टूल से मिले जवाब, जमा किए गए परिणाम, निष्पादन त्रुटियाँ और कार्य समाप्त होने का कारण सहेज सकता है। यह रिकॉर्ड शोधकर्ताओं को केवल अंतिम स्कोर देखने के बजाय पूरे क्रम को समझने में मदद करता है। उदाहरण के लिए, एजेंट ने सही फाइल नहीं चुनी तो टीम देख सकती है कि उसने संबंधित कोड देखा ही नहीं या गलत जानकारी से निष्कर्ष निकाला।
लंबे परीक्षणों के लिए पूरा काम दोबारा शुरू करना समय और संसाधन खर्च कर सकता है। FAITH में पूर्ण किए गए कार्यों के लिए चेकपॉइंटिंग का उल्लेख है। यदि संग्रहीत परिणाम उपलब्ध हों, तो बीच में रुकने के बाद परीक्षण योग्य पूर्ण कार्यों को दोबारा चलाने की जरूरत कम हो सकती है। इससे बड़े मूल्यांकन को संभालना आसान हो सकता है।
हालांकि रिकॉर्ड में संवेदनशील कोड या आंतरिक जानकारी हो सकती है। संगठनों को यह तय करना चाहिए कि लॉग कहाँ रखे जाएँगे, किसे पहुँच मिलेगी और कितने समय तक उन्हें सुरक्षित रखा जाएगा। मूल्यांकन प्रणाली खुद भी सुरक्षित तरीके से संचालित होनी चाहिए।
साइबर सुरक्षा टीमों के लिए संभावित लाभ
AI आधारित कोड समीक्षा का उपयोग बढ़ने के साथ कंपनियों को यह समझना होगा कि कौन सा मॉडल वास्तविक काम में भरोसेमंद है। Agentic FAITH जैसे फ्रेमवर्क से सुरक्षा टीम अलग मॉडलों को समान कार्यों पर परख सकती है और उनके काम करने के तरीके का विश्लेषण कर सकती है। इससे खरीद या तैनाती से पहले अधिक व्यवस्थित निर्णय लेने में सहायता मिल सकती है।
डेवलपरों के लिए यह जानना भी उपयोगी है कि एजेंट किस तरह की कमजोरियाँ खोजने में अच्छा है और किन स्थितियों में गलतियाँ करता है। परिणामों के आधार पर टीम बेहतर निर्देश, टूल सीमाएँ और परीक्षण प्रक्रिया तैयार कर सकती है। लेकिन AI एजेंट को मानव सुरक्षा विशेषज्ञ का पूर्ण विकल्प नहीं मानना चाहिए। महत्वपूर्ण निष्कर्षों की पुष्टि, पैच की समीक्षा और जोखिम का अंतिम निर्णय विशेषज्ञों को करना चाहिए।
सीमाएँ और सावधानियाँ
किसी एजेंट का बेंचमार्क पर अच्छा प्रदर्शन यह साबित नहीं करता कि वह हर प्रोग्रामिंग भाषा, हर तरह के सॉफ्टवेयर और हर वास्तविक हमले को पहचान सकेगा। मॉडल का परिणाम उसके प्रशिक्षण, टूल, संदर्भ, रिपॉजिटरी की बनावट और मूल्यांकन के नियमों पर निर्भर करता है। कंपनियों को अपने वातावरण के अनुरूप परीक्षण करना चाहिए।
एजेंट को कोड या टर्मिनल का एक्सेस देने से सुरक्षा जोखिम भी पैदा हो सकते हैं। परीक्षण वातावरण में read-only पहुँच, सीमित नेटवर्क, अलग कंटेनर और नियंत्रित अनुमतियाँ महत्वपूर्ण हैं। Cisco ने VulnLoc के लिए Docker और Kubernetes आधारित वातावरण का उल्लेख किया है, लेकिन किसी भी संगठन को अपने सेटअप की समीक्षा करनी चाहिए।
आधिकारिक जानकारी यहाँ पढ़ें: Cisco का Agentic FAITH परिचय।
अक्सर पूछे जाने वाले सवाल
Cisco Agentic FAITH क्या है?
Agentic FAITH Cisco के FAITH सुरक्षा मूल्यांकन फ्रेमवर्क का विस्तार है। यह ऐसे AI एजेंटों का परीक्षण करने में मदद करता है जो कई चरणों में काम करते हैं और टूल इस्तेमाल करते हैं। यह एजेंट के परिणाम के साथ उसके काम का रिकॉर्ड भी उपलब्ध करा सकता है।
VulnLoc बेंचमार्क किस चीज की जाँच करता है?
VulnLoc यह जाँचता है कि एजेंट कोड रिपॉजिटरी में संभावित कमजोर फाइलें पहचान सकता है या नहीं और पैच किए गए कोड को गलत तरीके से कमजोर बताने से बचता है या नहीं। इसमें सही पहचान और गलत अलर्ट दोनों को महत्व दिया जाता है।
File-set F1 का उपयोग क्यों किया जाता है?
File-set F1 मापदंड सही चुनी गई फाइलों और गलत या छूटी हुई फाइलों के बीच संतुलन देखने में मदद करता है। इससे पता चलता है कि एजेंट ने संभावित कमजोर हिस्सों को कितनी अच्छी तरह पहचाना। यह अकेला स्कोर पूरी सुरक्षा क्षमता तय नहीं करता।
क्या AI एजेंट सुरक्षा विशेषज्ञों की जगह ले सकता है?
नहीं, कम से कम केवल बेंचमार्क परिणाम के आधार पर ऐसा निष्कर्ष नहीं निकाला जा सकता। एजेंट जाँच और प्राथमिकता तय करने में मदद कर सकता है, लेकिन महत्वपूर्ण निष्कर्षों, जोखिम और पैच की समीक्षा विशेषज्ञों को करनी चाहिए।
AI सुरक्षा परीक्षण में सीमित वातावरण क्यों जरूरी है?
एजेंट कोड और टर्मिनल टूल इस्तेमाल कर सकता है, इसलिए उसकी कार्रवाई सीमित रखना महत्वपूर्ण है। read-only पहुँच, अलग कंटेनर, नेटवर्क नियंत्रण और लॉगिंग अनचाही कार्रवाई के जोखिम को कम करने में मदद करते हैं। हर संगठन को अपने वातावरण की सुरक्षा जाँचनी चाहिए।
निष्कर्ष
Cisco का Agentic FAITH AI एजेंटों की साइबर सुरक्षा क्षमता को अधिक व्यवस्थित ढंग से परखने का प्रयास है। टूल रिकॉर्ड और स्पष्ट बेंचमार्क से गलतियों को समझने में मदद मिल सकती है, लेकिन वास्तविक उपयोग में सुरक्षा समीक्षा, सीमित अनुमतियाँ और विशेषज्ञों की निगरानी जरूरी रहेंगी।
अस्वीकरण: यह लेख Cisco की सार्वजनिक तकनीकी घोषणा पर आधारित है। बेंचमार्क परिणाम वास्तविक दुनिया के हर वातावरण की गारंटी नहीं देते। सुरक्षा निर्णय लेने से पहले अपने सिस्टम पर परीक्षण करें।
