robots.txt nedir? Tarama ve noindex farkı

robots.txt, uyumlu arama motoru tarayıcılarına sitenizin hangi yollarını tarayabilecekleri hakkında kurallar sunan bir dosyadır. Erişim güvenliği veya kesin indeks kaldırma aracı değildir. Yanlış bir kural, yayınlamak istediğiniz içeriklerin taranmasını engelleyebilir. Doğru kullanım için tarama, indeksleme ve kullanıcı erişimini birbirinden ayırmak gerekir.

Tarama ile indeksleme farklıdır

Tarama, arama motorunun bir URL’ye istek yapmasıdır. İndeksleme ise içeriğin arama sisteminde değerlendirilip saklanmasıyla ilgilidir. robots.txt ile engellenen bir URL, başka bağlantılardan biliniyorsa sonuçlarda yine görülebilir. Bir sayfanın indekslenmesini istemiyorsanız uygun noindex veya erişim koruması gibi yöntemler değerlendirilir. Google’ın noindex kuralını okuyabilmesi için sayfayı tarayabilmesi gerekir.

Özel müşteri belgeleri, yedekler veya yönetim dosyalarını robots.txt ile korumayın. Dosya herkese açık okunabilir ve yazdığınız yolları gizlemez. Bu tür kaynaklarda kimlik doğrulama, doğru web kökü ve sunucu erişim kuralları kullanılmalıdır. Arama motoru tercihleriyle güvenlik denetimleri farklı görevlerdir.

Dosyanın konumu ve kapsamı

Dosya ilgili kök adreste /robots.txt yolundan sunulur. Alt alan adları ve farklı protokol/port kapsamları ayrı değerlendirilir. Test alanı için hazırlanmış bir engelleme dosyasını canlı siteye taşımak sık yapılan hatalardandır. Site taşımasından sonra hem kök adresi hem etkin yanıtı tarayıcıdan kontrol edin; yerel dosyanın içeriği tek başına yeterli değildir.

Kontrol adımları

1. Mevcut dosyayı açın. Sunucunun HTML hata sayfası yerine beklenen metni döndürdüğünü kontrol edin.
2. Kuralları amaçla eşleştirin. Her engellenen yolun neden engellendiğini yazın.
3. Genel engeli araştırın. Disallow: / ilgili kullanıcı aracısı için tüm yolları engeller; canlı siteye yanlışlıkla taşınmadığından emin olun.
4. Kaynak dosyalarını inceleyin. Sayfanın anlaşılması için gereken CSS ve JavaScript erişimini gereksiz yere kapatmayın.
5. Site haritasını doğrulayın. Eklediğiniz Sitemap adresi gerçekten çalışan doğru haritaya gitmelidir.
6. Search Console ile karşılaştırın. Önemli URL’lerin tarama ve indeksleme durumunu inceleyin.

Basit örneği uyarlama

Bir dosyada User-agent: * satırı genel tarayıcı grubunu tanımlar. Altındaki Disallow kuralları bu grubun hangi yolları taramamasının istendiğini belirtir. Boş Disallow: satırı kendi başına yol engellemez. Örneği kopyalarken başka kullanıcı aracısı grupları ve mevcut kuralların etkisini de kontrol edin. Birden fazla grubun yorumlanmasını kullanılan tarayıcının resmi belgesinden doğrulayın.

Test sitesi için doğru yaklaşım

Geliştirme kopyasının arama sonuçlarına girmesini istemiyorsanız erişim koruması ve uygun indeksleme ayarlarını birlikte planlayın. Test alanındaki kuralların canlıya taşınmasını önlemek için yayın kontrol listesine ekleyin. Canlıya geçişte yalnız robots.txt değil meta robots ve HTTP başlıklarını da kontrol edin; engel farklı katmanda kalmış olabilir.

Sık sorulan sorular

robots.txt içine noindex yazmalı mıyım? Google için indeksleme kontrolünü desteklenen meta etiketi veya HTTP başlığıyla uygulayın; robots.txt noindex yöntemi olarak kullanılmamalıdır.

Engeli kaldırınca sayfa hemen indekslenir mi? Hayır. Yeniden tarama ve değerlendirme gerekir; indeksleme garantisi yoktur.

Her site aynı dosyayı kullanabilir mi? Hayır. URL yapısı, özel alanlar ve yayın amacı farklıdır; kuralları kendi sitenize göre değerlendirin.

İlgili teknik kaynaklar

• Google robots.txt başlangıç rehberi
• Google noindex kullanımı