अपनी साइटों को एजेंट-रेडी बनाने में क्या-क्या करना पड़ा
वेबसाइट पर आने वाले विज़िटर अब हमेशा इंसान नहीं होते। कई बार वे AI एजेंट होते हैं, जो किसी के सवाल का जवाब देने के लिए पेज पढ़ते हैं, या किसी की ओर से कोई प्रोडक्ट इस्तेमाल करने की कोशिश करते हैं। इस हफ़्ते हमने इस साइट और अपने प्रोडक्ट की साइटों, SawirPost, Sawirly, Rindraw, Math Daily और बाकी, को देखा, ताकि एजेंट उन्हें आसानी से पढ़ और इस्तेमाल कर सकें।
चेकलिस्ट के तौर पर हमने isitagentready.com का इस्तेमाल किया। यह किसी साइट को अलग-अलग लेवल में ग्रेड करता है। हर कदम पर क्या करना पड़ा, यह नीचे है।
हर पेज की Markdown कॉपी
HTML पढ़ने वाले एजेंट को कुछ पैराग्राफ़ ढूँढने के लिए नेविगेशन, स्क्रिप्ट और फ़ुटर के बीच से गुज़रना पड़ता है। इसलिए इस साइट के हर पेज के साथ अब उसकी एक Markdown कॉपी है, index.md पर, जिसमें सिर्फ़ पेज का मुख्य कंटेंट है। एक छोटी स्क्रिप्ट इन्हें HTML से बनाती है, इसलिए दोनों हमेशा एक जैसे रहते हैं।
एजेंट इन्हें दो तरीक़ों से पा सकते हैं: URL के आगे index.md जोड़कर, या Accept: text/markdown माँगकर। स्टैटिक फ़ाइलों के आगे लगा एक छोटा Cloudflare Worker यह हेडर जाँचता है और Markdown कॉपी भेज देता है, साथ में x-markdown-tokens हेडर में टोकन की मोटी गिनती भी देता है। ब्राउज़र को पहले की तरह सामान्य पेज ही मिलता है।
curl -H "Accept: text/markdown" https://sawirstudio.com/shopify/Link हेडर
अब हर HTML पेज बताता है कि उसकी Markdown कॉपी कहाँ है, HTTP Link हेडर में rel="alternate" के साथ। होम पेज llms.txt और साइटमैप की ओर भी इशारा करता है। एजेंट को URL का अंदाज़ा लगाए बिना, सिर्फ़ एक रिक्वेस्ट से सब कुछ मिल जाता है।
llms.txt
llms.txt लैंग्वेज मॉडल के लिए साइट का एक सादा टेक्स्ट इंडेक्स है: एक लाइन का सारांश और हर पेज की सूची, उसके विवरण के साथ, जो Markdown कॉपी से जुड़ी होती है। हमारा इंडेक्स उसी स्क्रिप्ट से साइटमैप से अपने आप बनता है।
Content Signals
robots.txt बताता है कि कौन क्रॉल कर सकता है, यह नहीं कि पढ़ी हुई चीज़ का वे क्या कर सकते हैं। Content Signals यही जोड़ता है। हमारा सिर्फ़ एक लाइन का है और तीनों इस्तेमालों की इजाज़त देता है, क्योंकि हम चाहते हैं कि लोग हमें ढूँढ सकें और हमारा हवाला दें:
Content-Signal: ai-train=yes, search=yes, ai-input=yesइन तीन कदमों से हर साइट Level 3 तक पहुँच गई।
API कैटलॉग और Agent Skills
SawirPost और Sawirly के पास API हैं, इसलिए वे और आगे गए। दोनों /.well-known/api-catalog (RFC 9727) पर एक API कैटलॉग छापते हैं: एक छोटा JSON दस्तावेज़, जो OpenAPI विवरण और डॉक्स की ओर इशारा करता है। साइट पर पहुँचा एजेंट एक भी पेज पढ़े बिना API ढूँढ सकता है।
वे Agent Skills भी देते हैं, यानी एजेंट के लिए छोटे निर्देश कि प्रोडक्ट में आम काम कैसे किए जाएँ। इससे दोनों Level 4 तक पहुँच गए।
हम कहाँ रुके
Level 5 चाहता है कि एजेंट OAuth एजेंट रजिस्ट्रेशन फ़्लो के ज़रिए ख़ुद साइन अप और ऑथेंटिकेट कर सकें। ईमेल और पासवर्ड से साइन अप करने का तरीक़ा बताने वाला पेज इसमें नहीं गिना जाता। यह एक असली फ़ीचर है, जिसे बनाना पड़ेगा, और इसके साथ सुरक्षा के असली सवाल भी हैं, इसलिए हम जल्दबाज़ी करने के बजाय इसे सोच-समझकर देख रहे हैं।
क्या यह मेहनत सार्थक रही?
स्टैटिक साइट के लिए इसका ज़्यादातर हिस्सा एक दोपहर का काम था: एक स्क्रिप्ट, एक छोटा Worker और robots.txt में एक लाइन। साइट पर आने वाले लोगों के लिए कुछ नहीं बदला। हमारा मानना है कि आगे चलकर और ज़्यादा सवालों के जवाब हमारी जैसी साइटें पढ़ने वाले एजेंट देंगे, और सही तरीक़े से हवाला दिए जाने का सबसे आसान रास्ता एक साफ़ Markdown पेज है।
हम क्लाइंट्स के लिए भी यही सेटअप Launch & growth के तहत करते हैं।
आगे पढ़ें: Abilities API से अपने WordPress प्लगइन को AI एजेंट के लिए इस्तेमाल लायक बनाएँ, या हमारे होम पेज के उछाले जा सकने वाले ऐप आइकन।