llms.txt ve AI crawler erişimi
llms.txt dosyası kurulumu, AI crawler bot listesi ve robots.txt entegrasyonu.
TL;DR
llms.txt sitenizin kök dizininde AI crawler'lara içerik haritası verir. Robots.txt'te AI bot'larına izin verin. Scope Trends > AI Görünürlüğü > llms.txt sayfasından otomatik üretirsiniz.
llms.txt nedir
llms.txt sitenizin kök dizininde (yourdomain.com/llms.txt) bulunan, AI sistemleri için yapılandırılmış içerik haritası sağlayan dosyadır.
Format Markdown tabanlıdır. İçerir:
- Sitenizin amacı ve hedef kitlesi
- Ana kategoriler ve önemli URL'ler
- Brand bilgisi ve E-E-A-T sinyalleri
- AI crawler'lar için pasaj örnekleri
llms.txt standart bir Anthropic önerisidir. Google, OpenAI, Perplexity henüz resmi olarak desteklemediği için ek sinyal olarak kullanılır.
Otomatik üretim
- AI Görünürlüğü (GEO) > llms.txt sayfasını açın.
- Üret butonuna tıklayın.
- Sistem site içeriğinizi analiz eder, llms.txt taslağı üretir.
- Taslakta listelenen URL'leri inceleyin. Gerekirse düzenleyin.
- İndir butonuna tıklayın. Dosyayı sitenizin kök dizinine yükleyin.
- Erişim doğrulamak için: yourdomain.com/llms.txt URL'sini ziyaret edin.
AI crawler izinleri (robots.txt)
Robots.txt'te aşağıdaki bot'lara izin verilmesi önerilir:
- `User-agent: GPTBot` (OpenAI / ChatGPT search)
- `User-agent: ChatGPT-User` (ChatGPT plugin)
- `User-agent: PerplexityBot` (Perplexity)
- `User-agent: Claude-Web` (Anthropic)
- `User-agent: Google-Extended` (Google AI eğitimi)
- `User-agent: GoogleOther` (Google AI Overviews)
- `User-agent: Bingbot` (Bing ve Copilot)
- `User-agent: Applebot-Extended` (Apple Intelligence)
Her biri için `Allow: /` ekleyin. Eğer belirli klasörleri AI'dan korumak istiyorsanız `Disallow: /private/` gibi kurallarla sınırlandırın.
Frequently Asked
llms.txt zorunlu mu?+
Hayır. Şu an opsiyonel bir standart. Ancak erken adoption avantaj sağlayabilir, Anthropic ve diğer AI sistemleri zaman içinde kullanmaya başlayabilir.
llms.txt yüklediğimde citation artar mı?+
Doğrudan değil. AI sistemleri llms.txt'i resmi olarak kullanmadıkça etki sınırlıdır. Yine de ek bir görünürlük sinyali olarak değerlidir.
GPTBot'u engellemek SEO'ma zarar verir mi?+
Geleneksel SEO'ya etkisi yoktur. Ancak ChatGPT search citation'ı engellersiniz. Trafik kaybı potansiyeli vardır.
llms.txt'i ne sıklıkla güncellemeliyim?+
İçerik yapınız değiştikçe (yeni kategori, yeni hub sayfası). Quarterly review önerilir.
Robots.txt'i nasıl test ederim?+
GSC'de robots.txt Tester aracını kullanın. Veya scopetrends.com/tools/robots-tester sayfasından yapıştırıp test edebilirsiniz.
WAS THIS HELPFUL?
Related