robots.txt Nedir? Arama Motorlarına Yön Vermenin Kapsamlı Rehberi

İnternet
by IW İnternet

Küçük bir dosya, büyük bir etki

SEO dünyasında çoğu zaman içerik, backlink ve teknik optimizasyon konuşulur. Ancak tüm bu yapıların doğru çalışabilmesi, arama motoru botlarının sitenizi doğru, kontrollü ve verimli şekilde taramasına bağlıdır. İşte tam bu noktada devreye giren temel araç: robots.txt’dir.

Bu yazıda robots.txt dosyasını; ne olduğu, nasıl çalıştığı, hangi riskleri barındırdığı ve nasıl doğru yapılandırılacağıyla birlikte adım adım inceleyeceğiz.

robots.txt Nedir?

robots.txt, sitenizin kök dizininde (root) yer alan, arama motoru botlarına (crawlers) “hangi sayfaları tarayabilir, hangilerini taramamalı” bilgisini veren düz metin dosyasıdır.

Tipik adresi:

https://siteadiniz.com/robots.txt

Bu dosya, Robots Exclusion Protocol (REP) çerçevesinde çalışır ve tarayıcılara talimat verir; ancak unutulmamalıdır:

robots.txt bir güvenlik duvarı değildir; yalnızca “istek” bildirir. Kötü niyetli botlar bu kurallara uymayabilir.

Neden Önemlidir?

Crawl bütçesini yönetmek

Arama motorları, özellikle büyük sitelerde, sınırlı bir tarama bütçesi kullanır. Gereksiz sayfaları dışarıda bırakmak:

  • Sunucu yükünü azaltır,

  • Önemli sayfaların daha sık taranmasını sağlar,

  • İndeksleme sürecini hızlandırır.

Yinelenen ve düşük değerli sayfaları engellemek

Filtreleme sayfaları, parametreli URL’ler, geçici test dizinleri gibi alanlar genellikle indekslenmemelidir.

Geliştirme ortamlarını korumak

Staging/test ortamlarının yanlışlıkla Google’da görünmesini önlemek için kullanılabilir (ancak ideal çözüm her zaman parola korumasıdır).

Temel Terminoloji

  • User-agent: Talimat verilen bot (ör. Googlebot, Bingbot).

  • Disallow: Botun taramasının istenmediği yol veya dosya.

  • Allow: Özellikle izin verilen yol.

  • Sitemap: XML site haritasının adresi.

  • Crawl-delay: Botların istekler arasında bekleme süresi (Google desteklemez).

robots.txt Nasıl Çalışır?

Botlar, siteye ilk geldiklerinde:

  1. /robots.txt dosyasını kontrol eder,

  2. Bot adına uygun kuralları okur,

  3. Kurallara göre sayfaları tarar veya atlar.

Ancak şu ayrımı netleştirelim:

  • Taramanın engellenmesi ≠ İndekslemenin engellenmesi

Bir sayfa taranmasa bile, başka sitelerden o sayfaya verilen linkler nedeniyle indekse girebilir. Bu nedenle gizlilik için yalnızca robots.txt yeterli değildir.

robots.txt’nin Temel Yapısı

Basit bir örnek:

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /admin/login
Sitemap: https://siteadiniz.com/sitemap.xml

Bu yapı:

  • Tüm botlara ( * ) hitap eder,

  • /admin ve /tmp dizinlerini tarama dışı bırakır,

  • Ancak /admin/login sayfasına istisna tanır,

  • Site haritasının adresini bildirir.

Sık Kullanılan Yapılandırmalar

Tüm siteye izin verme

User-agent: *
Disallow:

Boş bırakılan Disallow, tarama kısıtı olmadığı anlamına gelir.

Tüm siteyi engelleme

User-agent: *
Disallow: /

Genelde yalnızca geçici durumlarda (ör. test ortamı) kullanılır.

ŞU YAZI DA İLGİNİ ÇEKEBİLİR:  E-Ticaret ve Dropshipping Terimleri Sözlüğü

Belirli dizinleri engelleme

User-agent: *
Disallow: /search/
Disallow: /cart/
Disallow: /cgi-bin/

Parametreleri sınırlama

User-agent: *
Disallow: /*?sort=
Disallow: /*&page=

(Parametre yönetiminde Search Console ayarları ve kanonik etiketleri de kullanmak gerekir.)

Bot özel kurallar

User-agent: Googlebot-Image
Disallow: /private-images/

robots.txt ile Yapılmaması Gerekenler

Gizli içerik saklamak

robots.txt, gizlilik aracı değildir. Gizli sayfalar mutlaka:

  • parola korumalı,

  • erişim kısıtlamalı,

  • gerekiyorsa 404/410 dönüşlü

olmalıdır.

İndekslemeyi engellemek için kullanmak

İndeksleme için doğru sinyal:

<meta name="robots" content="noindex">

veya HTTP başlığıdır. Tarama engellenirse Google sayfayı göremez, noindex’i de okuyamaz.

Düzensiz ve çelişkili kurallar

Çok sayıda Disallow, yanlış yerleştirilmiş Allow ifadeleri, botları yanıltabilir.

robots.txt ve SEO Arasındaki İlişki

Doğru yapılandırılmış bir robots.txt:

  • Crawl verimliliğini artırır,

  • Kopya ve düşük değerli içeriklerin SERP’te görünmesini sınırlar,

  • Site mimarisi sinyallerini güçlendirir.

Yanlış yapılandırılmış bir robots.txt ise:

  • Kritik sayfaların tamamen kaybolmasına,

  • Trafikte dramatik düşüşlere,

  • İndeks kaybına

neden olabilir.

Yaygın Hatalar

Yanlış yere yüklemek

robots.txt mutlaka kök dizinde olmalıdır:

Doğru:
https://siteadiniz.com/robots.txt

Yanlış:
https://siteadiniz.com/blog/robots.txt

CMS test eklentilerini engellemek

Bazı dosyalar arama motorlarının sayfanızı anlamasına yardımcı olur. Örneğin:

  • JS / CSS dosyalarını tamamen engellemek,

  • Mobil uyumluluk ve render sorunları yaratabilir.

Site genelini yanlışlıkla kapatmak

Geliştirme sırasında kullanılan:

Disallow: /

satırı yayına taşındığında tüm siteyi görünmez hale getirebilir.

Büyük Siteler İçin İleri Düzey İpuçları

  • Log analizi ile bot davranışlarını izleyin.

  • Çoklu alt alan adları (subdomain) için her biri ayrı robots.txt gerektirir.

  • Dinamik filtreleme URL’leri için kanonik + noindex + robots.txt kombinasyonunu birlikte düşünün.

  • Site taşınmalarında (migrasyon) robots.txt’yi yayın öncesi mutlaka kontrol edin.

robots.txt Nasıl Test Edilir?

  • Google Search Console (robots.txt Tester)

  • Canlı URL denetimi

  • “Fetch as Google” benzeri araçlar

Her değişiklikten sonra:

  1. Sunucu yanıtını kontrol edin (200 olmalı),

  2. Örnek URL’leri test edin,

  3. Yanlış engellemeleri gözden geçirin.

robots.txt ve Güvenlik Yanılgıları

Bazı yöneticiler, hassas dizinleri gizlemek için robots.txt’ye yazar. Bu yaklaşım, aslında kötü sonuç verir:

  • Dizin yolu herkese açık hale gelir,

  • Botlar görmezden gelse bile insanlar dosyayı okuyabilir,

  • Güvenlik riski artar.

Gizlilik = Erişim kontrolü + yetkilendirme. robots.txt bu iş için tasarlanmamıştır.

Örnek Bir “Sağlıklı” robots.txt

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpDisallow: /search/
Disallow: /cart/
Disallow: /*?sessionid=

Sitemap: https://siteadiniz.com/sitemap.xml
Sitemap: https://siteadiniz.com/news-sitemap.xml

Bu yapı:

  • Gereksiz alanları sınırlar,

  • Önemli dosyaları engellemez,

  • Botlara site haritalarını gösterir.

Sonuç: Stratejik Bir Kontrol Noktası

robots.txt küçük bir dosya gibi görünse de, arama motorlarının sitenizi nasıl gördüğünü belirleyen stratejik bir kontrol panelidir. Doğru kurgulandığında taramayı verimli hale getirir; yanlış yapılandırıldığında ise tüm SEO yatırımlarını riske atabilir.

En iyi yaklaşım:
Basit, tutarlı, test edilmiş ve belgelendirilmiş bir robots.txt politikası oluşturmaktır.

 

🗓️ Yayınlanma Tarihi: 28 Aralık 2025
🔄 Son Güncelleme Tarihi: 28 Aralık 2025
🎯 Kimler için: Bu yazı; web yöneticileri, SEO uzmanları, geliştiriciler ve site sahipleri için hazırlanmıştır. robots.txt dosyasının temellerini, risklerini ve doğru kullanım senaryolarını tek bir kapsamlı kaynak altında toplar; tarama, indeksleme ve site mimarisi kararlarında güvenle başvurulabilecek pratik bir rehber sunar.

İçerik Bilgisi
Bu içerik yaklaşık 1127 kelimeden ve 7300 karakterden oluşmaktadır. Ortalama okuma süresi: 4 dakikadır. Invictus Wiki editoryal ilkelerine uygun olarak hazırlanmış; güvenilir ve doğrulanabilir kaynaklar temel alınarak yayımlanmıştır. Bilgi güncelliği düzenli olarak gözden geçirilir.
Bu Yazıyı Paylaşmak İster Misin?

İLGİLİ YAZILAR: