llms.txt وrobots.txt وزواحف الذكاء الاصطناعي: ماذا تسمح وماذا تمنع

llms.txt: ما هو، وما ليس هو

في 2024 اقترح أحد المطورين معيارا بسيطا: ملف نصي باسم llms.txt في جذر الموقع، يلخص ما يقدمه الموقع ويشير إلى أهم صفحاته، كي تقرأه نماذج الذكاء الاصطناعي بدل أن تزحف إلى كل شيء. الفكرة أنيقة، وانتشرت بسرعة في أدوات السيو التي تبيع إنشاءه.

المشكلة أن لا أحد من المحركات الرئيسية يستخدمه. جوجل قالت في 2025 بوضوح إن أنظمتها لا تقرأ الملف ولا تخطط لذلك، وشبهه أحد مهندسيها بوسم الكلمات المفتاحية القديم. ولا OpenAI ولا Anthropic ولا Perplexity أعلنت أنها تبني عليه شيئا. والدراسات التي فحصت سجلات ملايين الزيارات من زواحف الذكاء الاصطناعي وجدت أن طلبات هذا الملف تكاد تكون معدومة، وأغلبها من أدوات السيو نفسها.

الخلاصة العملية: أضفه إن شئت، فلا يضر، ولا تدفع لأحد مقابله، ولا تسمه عملا في الظهور في الذكاء الاصطناعي. وما كتبته في مقال الظهور في ChatGPT ما زال قائما: llms.txt ليس الحل الذي يباع لك.

ما الذي يحدد ظهورك فعلا: robots.txt

الملف الذي يقرأه كل زاحف قبل أن يمس موقعك هو robots.txt. وهنا يقع الخطأ الذي أراه كثيرا في المواقع الخليجية: قاعدة أمنية عامة تحجب «كل الروبوتات» عدا جوجل، أو إعداد في جدار الحماية يمنع كل وكيل مستخدم غير معروف. النتيجة أن زواحف محركات الإجابة تمنع بصمت، والموقع يغيب عن ChatGPT وPerplexity بلا أن يعرف صاحبه.

الزواحف التي تهمك تنقسم إلى نوعين، والفرق بينهما هو القرار كله:

القاعدة البسيطة: زواحف البحث تجلب لك زيارات وذكرا، فاسمح لها. زواحف التدريب تأخذ محتواك لبناء النماذج ولا تعيد لك شيئا مباشرا، فقرر فيها بحسب ما تراه مناسبا لنشاطك. وموقع تجاري يريد الظهور في الإجابات يسمح للأولى ويستطيع منع الثانية بلا خسارة.

كيف يبدو ملف robots.txt الصحيح

لموقع تجاري يريد الظهور في البحث والإجابات ويمنع زواحف التدريب:

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /checkout/

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Sitemap: https://example.com/sitemap-index.xml

ثلاث ملاحظات: القاعدة العامة تسمح بكل شيء عدا الصفحات الخاصة، والمنع مخصص بالاسم لزواحف التدريب فقط، وخريطة الموقع مذكورة في الملف. وتذكر أن robots.txt طلب مهذب لا حاجز أمني، فالخبيث يتجاهله، والصفحة التي تريد إخفاءها فعلا تحتاج حماية بكلمة مرور.

الفحص الذي يسبق كل ذلك

أغلب زواحف الذكاء الاصطناعي لا تنفذ الجافاسكربت. تقرأ HTML كما يرسله الخادم وتنصرف. فإن كان نص صفحتك يرسم بعد التحميل، فالسماح في robots.txt يعطيها صفحة فارغة.

افتح صفحتك، اعرض المصدر، وابحث عن جملة من نص خدمتك. هذا الفحص يسبق أي إعداد للملفات. تفاصيله في السيو التقني للمواقع العربية.

قائمة فحص من خمس خطوات

1. افتح /robots.txt في موقعك واقرأه. هل توجد قاعدة عامة تحجب ما لا تقصد حجبه؟
2. راجع جدار الحماية أو إعدادات Cloudflare: هل يوجد وضع يحجب الروبوتات غير المعروفة؟ استثن زواحف البحث بالاسم.
3. تأكد أن النص في مصدر الصفحة.
4. قرر في زواحف التدريب بحسب سياستك، واكتب القرار في الملف بالاسم.
5. راجع سجلات الخادم بعد شهر لترى من يزورك فعلا.

ما الذي يفحصه التدقيق هنا

في فحص الحضور الرقمي يكون وصول زواحف الذكاء الاصطناعي بندا موثقا: أي الزواحف مسموح وأيها محجوب، وهل النص مقروء من المصدر، وهل تذكرك الإجابات فعلا. ولن تجد فيه توصية بإضافة llms.txt، لأن التقرير يوصي بما يغير النتيجة لا بما يباع.