Robots.txt Nedir? SEO İçin Nasıl Olmalı ve Oluşturulmalı?

SEO’nun en temel taşlarından birisi Robots.txt konusunda içerik üretmemek olmazdı.

Google Temmuz 2019’da yaptığı açıklamada Robots.txt dosyalarına eklenen Noindex gibi komutları saymadığını belirtti. Zaten noindex adı üstünde bir meta tag Robots’a koymak ne kadar mantıklı tartışılır 🙂 Ayrıca yıllar boyunca birçok Google çalışanı eğer içeriğinizi indexlettirmek istemiyorsanız bunun için Noindex meta tagını sayfalarınıza eklemenizi belirtiyor.

But there are also lots of typos in robots.txt files. Most people miss colons in the rules, and some misspell them. What should crawlers do with a rule named “Dis Allow”? pic.twitter.com/nZEIyPYI9R

— Google Webmasters (@googlewmc) 1 Temmuz 2019

Robots.txt Nedir?

Robots.txt, arama motoru örümceklerine hangi sayfaları taramaları veya taramamaları gerektiğini belirten bir dosyadır. Mutlaka kök dizinde robots.txt ismiyle bulunmalıdır.

Robots.txt Nasıl Kullanılır?

User-agent yazan yere “*” yıldız işaretini koyarsanız tüm botlarla ilgili işlem yapılır. Google botuna sitenizi engellemek isterseniz Googlebot yazmanız yeterli olacaktır.

Dikkat: Robots.txt’de yapacağınız en ufak hata sitenizi dizinden kaldırabilir ve taramanızı duraksatabilir!

WordPress için SEO eklentileri otomatik olarak bu robots.txt dosyasını oluşturabiliyor. Blogger tabanlı bir siteniz varsa yine ayarlar kısmından dosyanızı oluşturabilirsiniz.

User-agent: *

Disallow: /samet

Yukarıda ne yaptık?

-Tüm arama motoru örümceklerine şöyle söyledik “benim /samet URL’sinde bulunan sayfamı tarama” böylece örümcekler siteyi taramamaya başlayacaklardır.

*: Yıldız, örneğin /*seo* içinde SEO geçen tüm URL’lerle ilgili işlem yapar.

$: URL’nin nihayete erdiği yer, örneğin /*.pdf? PDF dosyalar indexlenmesin.

# işaretiyle dilerseniz yorum ekleme işlemini de yapabilirsiniz.

Örnek Robots.txt Dosyası

User-agent: *

Disallow: /wp-admin/

Allow: /seo

Belirli tarayıcılar için sayfaları engelleme (Yandex, Bing, Google, MSN vb);

User-agent: YandexBot

Disallow: /engellenecek-url

Bir klasörü engelleme;

User-agent: *

Disallow: /seo/

Arama motorlarını botları sitenize ulaştığında yapacakları ilk iş olarak Robots.txt dosyanıza bakacaklardır. Robots.txt yoksa taramaya yine botlar devam edebilir.

Değişik & komik bulduğum robots dosyalarını buraya ekleyeceğim ilk aklıma gelen :=)

Robots.txt Hakkında Önemli SEO Notları

• Robots.txt dosyası büyük-küçük harfe duyarlıdır.
• Kimi durumlarda bazı örümcekler Robots.txt komutlarına uymayabilir.
• Google, Robots.txt ile engellensede dizine bazen URL ekleyebilir.
• Her alt alanlar kendi Robots.txt dosyalarını oluşturabilir.
• Site haritalarınızı mutlaka belirtmeyi düşünün.

Robots.txt dosyanız mümkün olduğunca basit olmasını öneririm; çünkü olası bir bakımda sizi zorlayabilecek satırları eklemeyin.

Google’ın verimli bir şekilde sitenizi taramasını sağlamak çok önemlidir ve iyi yapılandırılmış bir robots.txt dosyası bu süreçte önemli bir araçtır.

Robots.txt SEO’da Neden Önemlidir?

• Tarama bütçesini verimli kullanmanızı sağlar,
• Yinelenen içeriğin önüne geçebilir,
• Arama motorlarının işini kolaylaştırır,
• Arama motorlarından gizlenmesini istediğiniz yerleri belirtir,
• Site haritalarını gösterir,
• Dizin durumunu kontrol altında tutabilme,
• Indexlenmemesini istediğiniz bölümleri belirleyebilme.

Robots.txt tarafından engellenen sayfalarda backlinkler varsa o backlinklerde artık arama motorları o sayfaya ulaşamadıkça kaybolacaktır.

Robots.txt’niz değiştiyse ve Google bunu görmediyse Search Console’dan yeniden dosyanızı gönderin ve birkaç dakika içerisinde işlenmesini bekleyin. Ayrıca Google, sitenin durumuna göre günde  1 defa robots.txt dosyanızı yeniden işleyebiliyor.

Robots.txt Test Etmek

Eski Search Console’a giriş yapın Tarama > Robots.txt Test Aracı bölümünden dosyanızı test edin ve son güncellenme tarihini kontrol edin.

Sık Sorulan Robots.txt Soruları & Hataları

Sitemde Robots.txt Dosyası Var Mı?

Bunun için site adınızın sonuna /robots.txt yazarak ulaşabilirsiniz. Mesela benim dosyam https://sametozsuleyman.com.tr/robots.txt bu adreste. Eğer bunu yazdığınız halde dosyaya ulaşamıyorsanız yeni bir robots.txt dosyası yaratın.

Robots.txt dosyasının kurulumu çok zaman almaz sadece birkaç dakika içersinde işlemleri bitirebilirsiniz.

Robots.txt Dosyası Zorunlu mu?

Hayır, Robots.txt dosyası kullanmanız zorunlu değildir. Arama motorlarını (SEO) önemsemeyen bir site düşünüyorsanız kullanmayabilirsiniz.

Robots.txt İle Engellediğim Sayfa Google’da Gözüküyor?

Bir sayfanın Google’da gözüküp gözükmeyeceğini belirlemek için <meta name=”robots” content=”noindex,nofollow”> kullanın.

Robots.txt Dosyam Yok Sitem Taranır Mı?

Evet taranır.

Faydalı Kaynaklar;

https://webmasters.googleblog.com

https://developers.google.com/

Robots.txt ile ilgili sorularınızı aşağıdaki yorum bölümünden iletebilirsiniz.