Robots.txt Dosyası En Verimli Şekilde SEO’da Nasıl Kullanılmalı?

» » Robots.txt Dosyası En Verimli Şekilde SEO’da Nasıl Kullanılmalı?

3 dakikada okuyabilirsiniz

robots-txt-nedir

SEO’nun en temel taşlarından birisi Robots.txt konusunda içerik üretmemek olmazdı.

Google Temmuz 2019’da yaptığı açıklamada Robots.txt dosyalarına eklenen Noindex gibi komutları saymadığını belirtti. Zaten noindex adı üstünde bir meta tag Robots’a koymak ne kadar mantıklı tartışılır 🙂 Ayrıca yıllar boyunca birçok Google çalışanı eğer içeriğinizi indexlettirmek istemiyorsanız bunun için Noindex meta tagını sayfalarınıza eklemenizi belirtiyor.

Robots.txt Nedir?

Robots.txt, arama motoru örümceklerine hangi sayfaları taramaları veya taramamaları gerektiğini belirten bir dosyadır. Mutlaka kök dizinde robots.txt ismiyle bulunmalıdır.

robots-txt
Robots.txt dosyam.

Robots.txt Nasıl Kullanılır?

User-agent yazan yere “*” yıldız işaretini koyarsanız tüm botlarla ilgili işlem yapılır. Google botuna sitenizi engellemek isterseniz Googlebot yazmanız yeterli olacaktır. Online oluşturmak için robots.txt oluşturma sayfasına bakabilirsiniz.

Dikkat: Robots.txt’de yapacağınız en ufak hata sitenizi dizinden kaldırabilir ve taramanızı duraksatabilir!

WordPress için SEO eklentileri otomatik olarak bu robots.txt dosyasını oluşturabiliyor. Blogger tabanlı bir siteniz varsa yine ayarlar kısmından dosyanızı oluşturabilirsiniz.

User-agent: *

Disallow: /samet

Yukarıda ne yaptık?

-Tüm arama motoru örümceklerine şöyle söyledik “benim /samet URL’sinde bulunan sayfamı tarama” böylece örümcekler siteyi taramamaya başlayacaklardır.

*: Yıldız, örneğin /*seo* içinde SEO geçen tüm URL’lerle ilgili işlem yapar.

$: URL’nin nihayete erdiği yer, örneğin /*.pdf? PDF dosyalar indexlenmesin.

# işaretiyle dilerseniz yorum ekleme işlemini de yapabilirsiniz.

Örnek Robots.txt Dosyası

User-agent: *

Disallow: /wp-admin/

Allow: /seo

Belirli tarayıcılar için sayfaları engelleme (Yandex, Bing, Google, MSN vb);

User-agent: YandexBot

Disallow: /engellenecek-url

Bir klasörü engelleme;

User-agent: *

Disallow: /seo/

Arama motorlarını botları sitenize ulaştığında yapacakları ilk iş olarak Robots.txt dosyanıza bakacaklardır. Robots.txt yoksa taramaya yine botlar devam edebilir.

washington-post-robots
Washington Post’un robots.txt’si bayağı uzun.

Değişik & komik bulduğum robots dosyalarını buraya ekleyeceğim ilk aklıma gelen :=)

komik-robots
🙂
komik-robots
Fastfwd örneği.

Robots.txt Hakkında Önemli SEO Notları

Robots.txt dosyanız mümkün olduğunca basit olmasını öneririm; çünkü olası bir bakımda sizi zorlayabilecek satırları eklemeyin.

Google’ın verimli bir şekilde sitenizi taramasını sağlamak çok önemlidir ve iyi yapılandırılmış bir robots.txt dosyası bu süreçte önemli bir araçtır.

Robots.txt SEO’da Neden Önemlidir?

  • Tarama bütçesini verimli kullanmanızı sağlar,
  • Yinelenen içeriğin önüne geçebilir,
  • Arama motorlarının işini kolaylaştırır,
  • Arama motorlarından gizlenmesini istediğiniz yerleri belirtir,
  • Site haritalarını gösterir,
  • Dizin durumunu kontrol altında tutabilme,
  • Indexlenmemesini istediğiniz bölümleri belirleyebilme.
dizin-durumu
Dizine eklenecek URL’lerin kontrolü önemlidir.

Robots.txt tarafından engellenen sayfalarda backlinkler varsa o backlinklerde artık arama motorları o sayfaya ulaşamadıkça kaybolacaktır.

Robots.txt’niz değiştiyse ve Google bunu görmediyse Search Console’dan yeniden dosyanızı gönderin ve birkaç dakika içerisinde işlenmesini bekleyin. Ayrıca Google, sitenin durumuna göre günde  1 defa robots.txt dosyanızı yeniden işleyebiliyor.

Robots.txt Test Etmek

Eski Search Console’a giriş yapın Tarama > Robots.txt Test Aracı bölümünden dosyanızı test edin ve son güncellenme tarihini kontrol edin.

robots-txt-test-araci
Test aracı.

Sık Sorulan Robots.txt Soruları & Hataları

Sitemde Robots.txt Dosyası Var Mı?

Bunun için site adınızın sonuna /robots.txt yazarak ulaşabilirsiniz. Mesela benim dosyam https://sametozsuleyman.com.tr/robots.txt bu adreste. Eğer bunu yazdığınız halde dosyaya ulaşamıyorsanız yeni bir robots.txt dosyası yaratın.

Robots.txt dosyasının kurulumu çok zaman almaz sadece birkaç dakika içersinde işlemleri bitirebilirsiniz.

Robots.txt Dosyası Zorunlu mu?

Hayır, Robots.txt dosyası kullanmanız zorunlu değildir. Arama motorlarını (SEO) önemsemeyen bir site düşünüyorsanız kullanmayabilirsiniz.

Robots.txt İle Engellediğim Sayfa Google’da Gözüküyor?

Bir sayfanın Google’da gözüküp gözükmeyeceğini belirlemek için <meta name=”robots” content=”noindex,nofollow”> kullanın.

Robots.txt Dosyam Yok Sitem Taranır Mı?

Evet taranır.

Faydalı Kaynaklar;

https://webmasters.googleblog.com

https://developers.google.com/

Robots.txt ile ilgili sorularınızı aşağıdaki yorum bölümünden iletebilirsiniz.

1 Yıldız2 Yıldız3 Yıldız4 Yıldız5 Yıldız (1 oy, ortalama: 5,00 üzerinden 5)
Loading...
Samet Özsüleyman Samet Özsüleyman, SEO Uzmanı olarak çalışmaktadır. Aynı zamanda İstatistikçi olan Samet; sıcak çikolatayı, yapısal verileri ve tarihi çok sevip, boş zamanlarında Netflix'ten bişeyler izlemektedir. Çeşitli alanlarda SEO çalışmalarını sürdürmektedir.
Samet Özsüleyman Samet Özsüleyman, SEO Uzmanı olarak çalışmaktadır. Aynı zamanda İstatistikçi olan Samet; sıcak çikolatayı, yapısal verileri ve tarihi çok sevip, boş zamanlarında Netflix'ten bişeyler izlemektedir. Çeşitli alanlarda SEO çalışmalarını sürdürmektedir.

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir