OAI-SearchBot, GPTBot ve PerplexityBot İçin robots.txt Rehberi

OAI-SearchBot robots. txt ayarı, ChatGPT arama görünürlüğü ile model eğitimi tercihini birbirinden ayırmayı gerektirir. OpenAI, OAI-SearchBot’u ChatGPT’nin arama deneyiminde web içeriğini keşfetme ve kaynaklama amacıyla; GPTBot’u ise modellerin geliştirilmesine yönelik tarama tercihiyle ilişkilendirir. Perplexity de kendi arama ve retrieval crawler’larını ayrı user-agent adlarıyla belgeler. Bu nedenle “tüm AI botlarını aç” veya “GPTBot’u kapatırsam ChatGPT Search’te görünmem” gibi genellemeler doğru değildir.

Öne Çıkanlar

• OAI-SearchBot ve GPTBot aynı amaçla kullanılmaz; robots.txt kuralları ayrı yazılabilir.
• robots.txt taramayı yönetir; noindex ise indeksleme davranışıyla ilgili farklı bir kontroldür.
• Bir botu robots.txt ile engellemek mevcut tüm kopyaların veya üçüncü taraf kaynakların yok olacağı anlamına gelmez.
• Perplexity’nin crawler adlarını ve önerilerini yayın gününde resmî dokümandan kontrol edin.
• robots.txt değişikliğinden önce wildcard ve genel User-agent: * kurallarının çakışmasını denetleyin.

OAI-SearchBot, GPTBot ve PerplexityBot Aynı Şey Değildir

AI crawler konusu iki farklı hedefi karıştırdığı için zorlaşır: içeriğin arama/cevap sistemlerinde keşfedilmesi ve içeriğin model geliştirme süreçlerinde kullanılması.

OpenAI’ın yayıncı dokümantasyonu bu ayrımı açık biçimde ele alır. OAI-SearchBot, ChatGPT’nin search özellikleri için web sayfalarını bulmayla ilişkilidir. GPTBot ise model geliştirme amacıyla kullanılan crawler tercihlerini yönetmek için ayrı user-agent’tır.

Bu ayrım site sahiplerine daha ince bir kontrol verir. Örneğin bir yayıncı arama yüzeyinde keşfedilmeye izin verirken model geliştirme taramasına farklı politika uygulayabilir.

Botların Görevleri Karşılaştırma Tablosu

User-agent	Genel amaç	robots.txt ile yönetilebilir mi?	Not
OAI-SearchBot	ChatGPT search için web keşfi/kaynaklama	Evet	GPTBot’tan ayrı değerlendirilir
GPTBot	OpenAI model geliştirme taraması	Evet	Search görünürlüğüyle aynı kontrol değildir
PerplexityBot	Perplexity arama/retrieval crawler’ı	Evet	Güncel user-agent ve politika resmî dokümandan doğrulanmalı

Crawler adları ve politikaları zamanla değişebileceği için yayın günü resmî kaynakları kontrol edin.

robots.txt Dosyası Nasıl Kontrol Edilir?

Çoğu sitede dosya kök dizinde bulunur:

``text https://example.com/robots.txt ``

Kontrol sırasında yalnızca ilgili user-agent satırını aramayın. Önce dosyanın tamamını okuyun:

1. User-agent: * altında genel engel var mı? 2. OAI-SearchBot, GPTBot veya PerplexityBot için özel blok var mı? 3. Disallow: / gibi tüm siteyi kapatan kural var mı? 4. Kritik içerik dizinleri yanlışlıkla engellenmiş mi? 5. CMS veya güvenlik eklentisi dosyayı otomatik değiştiriyor mu? 6. staging ve production robots ayarları karışmış mı?

> Editör notu — canlı Ortak Alan kontrolü: Brief, ortakalan. io/robots. txt dosyasının yayın tarihinde canlı denetlenmesini istiyor. Bu taslak hazırlanırken robots. txt içeriği güvenilir biçimde çekilemedi; bu nedenle Ortak Alan için user-agent sonucu uydurulmadı. Yayın öncesinde canlı dosya alınmalı, kontrol tarihi yazılmalı ve gerçek kurallar tabloya eklenmelidir.

OAI-SearchBot’a İzin Verme Örneği

OAI-SearchBot için açık izin vermek isterseniz temel örnek şu biçimde olabilir:

``text User-agent: OAI-SearchBot Allow: / ``

Ancak robots. txt yorumlama kuralları, daha spesifik yollar ve mevcut genel bloklarla birlikte değerlendirilmelidir. Sitenizde zaten User-agent: * altında izinli bir yapı varsa özel bir blok eklemek her zaman gerekli olmayabilir.

Search görünürlüğü hedefliyorsanız yalnız robots. txt yeterli değildir. URL’nin erişilebilir, indekslemeye uygun, doğru canonical’a sahip ve içerik olarak kullanılabilir olması gerekir.

GPTBot’u Ayrı Yönetme Örneği

Bir site, ChatGPT search keşfine izin verip GPTBot’u engellemeyi tercih edebilir:

```text User-agent: OAI-SearchBot Allow: /

User-agent: GPTBot Disallow: / ```

Bu örnek politika tercihini göstermektedir; hukuki veya gizlilik tavsiyesi değildir. Kurumların kendi içerik lisanslama, veri ve güvenlik politikalarına göre karar vermesi gerekir.

PerplexityBot’a İzin Verme veya Engelleme

Perplexity, crawler davranışını ve user-agent bilgilerini resmî geliştirici dokümantasyonunda açıklar. Genel biçim diğer robots kurallarıyla aynıdır:

``text User-agent: PerplexityBot Allow: / ``

veya

``text User-agent: PerplexityBot Disallow: / ``

Yayın gününde doğru user-agent adını, IP/doğrulama yöntemlerini ve güncel politika ayrıntılarını Perplexity’nin resmî sayfasından kontrol edin. AI crawler ekosistemi hızlı değiştiği için eski blog yazılarındaki bot listelerine güvenmek risklidir.

noindex, robots.txt ve Meta Robots Farkı

Bu üç kontrol aynı şey değildir.

robots.txt

Crawler’a belirli URL yollarını taramaması gerektiğini söyler. Bir URL başka yerlerden biliniyorsa sadece robots engeli “URL hiçbir yerde görünmez” garantisi değildir.

noindex

Arama motorunun sayfayı indekslememesi için kullanılan direktiftir. Google gibi arama motorlarının noindex görebilmesi için sayfayı tarayabilmesi gerekir; robots. txt ile tamamen engellenmiş bir sayfada meta robots okunamayabilir.

nofollow

Sayfadaki linklerin takibiyle ilgili bir direktiftir; sayfanın kendisinin indekslenmesiyle aynı şey değildir.

Bu ayrımları karıştırmak, özellikle gizli veya hassas içeriklerde yanlış güvenlik varsayımlarına yol açabilir. Gerçek gizlilik için kimlik doğrulama ve erişim kontrolü gerekir; robots. txt güvenlik mekanizması değildir.

Yaygın OAI-SearchBot robots.txt Hataları

Genel wildcard’ın özel kuralı bozması

Uzun robots dosyalarında farklı user-agent blokları beklenmeyen davranış yaratabilir. Değişiklik sonrası gerçek parser mantığını test edin.

Staging kuralının production’a taşınması

Geliştirme ortamında kullanılan Disallow: /, deploy sırasında canlı siteye taşınabilir.

Eğitim ve search botunu aynı sanmak

GPTBot kararını OAI-SearchBot görünürlüğüyle otomatik eşitlemeyin.

robots.txt’yi güvenlik duvarı sanmak

Robots kuralları gönüllü crawler direktifidir; hassas dosyaları korumaz.

CDN/WAF engelini gözden kaçırmak

robots. txt izin verse bile firewall, bot koruması veya rate limit crawler’ın içeriğe ulaşmasını engelleyebilir.

AI Crawler Audit Kontrol Listesi

• [ ] /robots.txt canlı olarak erişiliyor.
• [ ] User-agent: * kuralları incelendi.
• [ ] OAI-SearchBot özel kuralı incelendi.
• [ ] GPTBot tercihi ayrı değerlendirildi.
• [ ] PerplexityBot güncel resmî adıyla kontrol edildi.
• [ ] Kritik içerik yollarında Disallow çakışması yok.
• [ ] CDN/WAF bot politikası kontrol edildi.
• [ ] Sayfa seviyesinde meta robots ve X-Robots-Tag incelendi.
• [ ] Canonical ve HTTP durum kodları doğrulandı.
• [ ] Değişiklik tarihi ve sorumlu kişi kaydedildi.

AI Görünürlüğü İçin Botları Açmak Yeterli mi?

Hayır. Bot erişimi yalnızca teknik ön koşullardan biridir. Bir sayfanın erişilebilir olması, belirli promptta kaynak gösterileceği veya markanın önerileceği anlamına gelmez.

İçerik kalitesi, kullanıcı sorusuna uygunluk, güncellik, özgün kanıt, entity doğruluğu ve bağımsız kaynaklar gibi faktörler ayrıca önemlidir. Crawler ayarını “GEO optimizasyonunun tamamı” gibi görmek yanlış olur.

robots.txt Değişikliğini Güvenli Şekilde Yayınlama

Canlı robots. txt dosyasında değişiklik yapmadan önce mevcut sürümü kaydedin ve hangi user-agent için hangi hedefi değiştirdiğinizi not edin. Büyük sitelerde tek bir Disallow satırı binlerce URL’yi etkileyebilir. Değişikliği staging ortamında parser/test aracıyla kontrol edin; ardından production dosyasını tekrar çekerek deploy’un gerçekten beklenen kuralı yayınladığını doğrulayın.

CDN ve WAF katmanını da aynı audit’e dahil edin. robots. txt “Allow” dese bile güvenlik ürünü belirli bot user-agent’larını veya IP bloklarını engelliyorsa erişim yine kesilebilir. Sağlayıcının resmî doğrulama/IP dokümantasyonu varsa bunu kullanın; yalnız user-agent string’ine güvenmeyin.

Kurumsal ortamda crawler politikası teknik ekip, hukuk/veri politikası ve pazarlama arasında ortak karar olabilir. Özellikle training crawler ve search/retrieval crawler ayrımını yazılı hale getirmek, ileride “neden bu bot açık/kapalı? ” sorusunu cevaplamayı kolaylaştırır.

Sunucu Loglarıyla Gerçek Erişimi Kontrol Edin

robots. txt yalnız niyet edilen kuralı gösterir; gerçek crawler davranışını görmek için erişiminiz varsa sunucu/CDN loglarını inceleyin. User-agent, istenen URL, HTTP durum kodu, tarih ve response time alanlarını filtreleyerek ilgili botun hangi bölümlere ulaştığını görebilirsiniz. Bot kimliğini yalnız user-agent adına bakarak kesin doğrulanmış saymayın; sağlayıcı resmî doğrulama yöntemleri sunuyorsa onları kullanın.

Loglarda hiç istek olmaması da “engellendi” sonucunu tek başına kanıtlamaz; bot henüz gelmemiş olabilir. robots kuralı, WAF politikası ve log verisini birlikte yorumlayın. Teknik audit’in amacı AI crawler trafiğini artırmak değil, pazarlama politikanızla gerçek erişim davranışının uyumlu olup olmadığını doğrulamaktır.

Değişiklik Sonrası Dokümantasyon

Robots politikasında her değişiklik için tarih, eski kural, yeni kural, karar sahibi ve iş gerekçesini kaydedin. Özellikle birden fazla ekip veya ajans çalışıyorsa bu küçük kayıt, aylar sonra yanlış bir Disallow satırının neden eklendiğini anlamayı kolaylaştırır. Teknik konfigürasyonların sahipliği belirli olmalıdır.

Politika değişikliğini Search Console, sunucu logu ve görünürlük test tarihleriyle aynı change log içinde tutmak, daha sonra yaşanan değişimleri yorumlamayı kolaylaştırır. Bir bot ayarını değiştirdikten hemen sonra görünürlük sonucu beklemek yerine tarama ve yeniden işleme için zaman tanıyın; belirli bir sonuç süresi garanti edilemez.

Referanslar

• OpenAI — Publishers and Developers FAQ
• Perplexity — Crawlers
• Google — robots meta tag, data-nosnippet ve X-Robots-Tag
• Google — robots.txt introduction

Yazıdaki ölçüm yöntemini kendi marka verinizle test etmek için [Rank Prompt’u bu bağlantıdan](https://join. rankprompt. com/zzzuy8sjj9ke-xj5vs) inceleyebilirsiniz. Araç, görünürlük ölçümü ve boşluk analizi için kullanılabilir; sonuç veya sıralama garantisi vermez. Şeffaflık notu: Bu bir iş ortaklığı bağlantısıdır; kayıt veya satın alma halinde Ortak Alan komisyon kazanabilir.

Sonuç

OAI-SearchBot robots. txt ayarı yaparken önce hedefi ayırın: ChatGPT search keşfi mi, model geliştirme taraması mı, yoksa başka bir AI retrieval sistemi mi? OAI-SearchBot, GPTBot ve PerplexityBot aynı user-agent değildir ve ayrı politikalar uygulanabilir. robots. txt yalnızca tarama kontrolüdür; gizlilik, indeksleme ve AI recommendation sonucu için tek başına yeterli değildir. En güvenli süreç canlı robots dosyasını, sayfa seviyesindeki direktifleri ve CDN/WAF davranışını birlikte denetlemek ve her değişikliği tarihli olarak kaydetmektir.

Sık Sorulan Sorular

GPTBot’u engellersem ChatGPT Search’te görünmem mi?

OpenAI, GPTBot ve OAI-SearchBot’u farklı amaçlar için tanımlar. Search görünürlüğü için OAI-SearchBot politikası ayrıca değerlendirilmelidir.

OAI-SearchBot’u açmak ChatGPT’de görünürlüğü garanti eder mi?

Hayır. Erişim, keşfedilebilirlik için teknik bir koşul olabilir; belirli bir yanıtta kaynak gösterilme veya önerilme garantisi değildir.

robots.txt ile özel içerik korunur mu?

Hayır. robots. txt bir erişim güvenliği mekanizması değildir. Hassas içerik kimlik doğrulama ve gerçek erişim kontrolüyle korunmalıdır.

noindex ile Disallow aynı mı?

Hayır. Disallow taramayı, noindex indeksleme talimatını hedefler. Yanlış kombinasyonlarda crawler noindex direktifini göremeyebilir.

AI crawler kuralları ne sıklıkla kontrol edilmeli?

CMS, CDN veya sağlayıcı politikası değiştiğinde ve düzenli teknik SEO denetimlerinde kontrol edilmelidir.