Log Analizi Rehberi: Nedir ve Nasıl Yapılır? (İleri Düzey SEO)

Teknik SEO en sevdiğim SEO dallarından birisi. İleri düzey SEO uygulamalarından birisi olan log analizi ise optimizasyon konusundaki görüşünüzü daha iyi durumlara getirecek.

Bu yazımda log dosyalarının sorunları nasıl tespit etmede işimize yaradığını anlatmaya çalışacağım.

❓Log Analizi Nedir?

SEO için log analizi yapmak demek sunucular tarafından oluşturulan günlük log dosyalarında yer alan herhangi bir tarayıcı ve kullanıcı arasını içeren verileri ayrıştırma ve çözme işlemidir.

Ön Uyarı: Google tarafından veya diğer istekler nedeniyle sunucu logları inanılmaz boyutlara gelebilir.

❓Log Dosyası Neye Benzer?

66.249.76.35 – – [31/May/2019:15:05:18 +0300] “GET /seo-nedir HTTP/1.1” 200 17804 “-” “Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)”

Bu log ne demek istiyor?

66.249.76.35: Sunucu IP adresi

31/May/2019:15:05:18 +0300: Tarih ve saat

GET: Metodu (POST’ta olabilir)

/seo-nedir HTTP/1.1: Gitmek istediği yer/istek.

200: Durum kodu

17804: byte toplamı.

Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html: İstek yapan kullanıcının kimliği.

Yorumlanmasına gelince; 31 Mayıs 2019 saat 15:05’te Googlebot seo nedir ile ilgili içeriğe 200 (başarılı durum) kodu ile gelmiştir ayrıca IP adresi 66.249.76.35’tir gibi yorumlanabilir.

❓Log Dosyası Sunucuda Nerede Bulunur?

Sunucu bilgilerinizi öğrendikten sonra gerek FTP ile gerekse Cpanel üzerinden giriş yaparak log dosyalarınızı elde edebilirsiniz. Eğer bu dosyaya erişmekte sorun yaşıyorsanız sunucu yöneticisine ulaşmayı deneyin.

❓SEO’da Log Analizi Ne İşe Yarar?

1. Taranan URL’ler: Googlebot veya diğer arama motoru botlarının hangi URL’leri taradığını görün.
2. Kırık linkler: Botların karşılaştığı hataların minimuma indirme fırsatı.
3. Tarama Bütçesini Optimize Etme: Tarama verimliliğini arttırmak için en az veya en çok taranan sayfalardan yola çıkarak planınızı belirleyin.
4. Taranmayan URL’ler: Googlebot tarafından taranmayan URL’leriniz var mı?
5. Sunucu durum kodları: 5XX veya 4XX gibi sunucu yanıt kodlarını tespit edebilirsiniz.
6. Duplicate content: Yinelenen içeriklerinizin tespiti.
7. Tarama Sıklığı: Arama motorları sitenizi ne kadar sıklıkla taramaktadır bunu görebilirsiniz.
8. Büyük Boyuta Sahip Sayfalar: Büyük yük getiren sayfaların ortalama bayt toplamını görebilirsiniz.

Bazen sitenizin trafiği düşüş gösterebilir. Bu tür durumlarda Google Search Console’da herşey normal gözükebilir. Yapılacak işlem log analizi yaparak Googlebot’un bir sorunla karşılaşıp karşılaşmadığını anlamak olmalıdır.

Sitenizde anomal derecede tarama sorunu olduğunu düşünüyorsanız sunucu loglarına bakın.

Robots.txt kurallarına uymayan Google-Read-Aloud ile ilgili attığım tweete bakabilirsiniz.

Yeni User Agent: Google-Read-Aloud👈
Sunucu loglarını analiz ederken denk geldim.
Robots.txt’ye uymuyor, daha fazla bilgiyi https://t.co/y8zo7iZkpf burada bulabilirsiniz. pic.twitter.com/MKWTUW0oz9

— Samet Özsüleyman (@sametozsuleyman) April 18, 2019

İçerik pazarlaması için içeriğin tazeliği konusunda fikir elde etmek için loglara başvurulabilir. Sitenize eklenen makalenin yeni yayınlandığında veya güncellendiğinde Google’ın nasıl taradığını ölçümleyebilirsiniz.

Log Dosyasından Neler Öğrenebilirsiniz?

Örümcekler: Arama motorlarının botlarının sitenizi nasıl gezdikleri ve belirlediğiniz içeriğe en son ne zaman uğradığını görebilirsiniz. Bu sayede yeni içeriğin fark edilip edilmediğini analiz edebilirsiniz.

Spam Trafik: Bilginiz dışında gelen salıdrı amaçlı trafiği görebilirsiniz.

Kırık Linkler: Log dosyasında sunucu yanıt kodları görülebildiğinden botların 404 hatası aldığı sayfalara bakabilirsiniz. Özellikle teknik seo uygulamalarınızda işe yarayacaktır.

Site taşıma yaptıktan sonra 301 yönlendirmesi yapmak çok önemlidir. Birçok SEO aracı her ne kadar bağlantıları size sunsa da bazen gözden kaçan linkler olabiliyor, log dosyalarıyla bu sorunu da ortadan kaldırabiliyorsunuz.

Loglardan öğrenemeyecekleriniz arasında;

• Anahtar kelimeler,
• Özel kullanıcı takibi (çok sıkıntılı),
• Render süreleri,
• Coğrafi veriler.

Log Analizi Nasıl Yapılır?

Özet geçeyim;

1. Log dosyasını elde edin,
2. Çok büyükse dosya boyutunu küçültmeye çalışın,
3. Ardından Screaming Frog Log File Analyzer programına atıp analizine başlayın.
4. Dışarıya aktararak Excel’de çeşitli raporlar oluşturabilirsiniz.

Log dosyanızı Screaming Frog Log File Analyzer içine sürükleyip bırakın, ardından site adresini soracaktır ve projenizi oluşturun (biraz zaman alabilir),

Gelen ekranda URL sekmesinde filtreleme yaparak (HTML, JS, CSS vb.) sayfalarınızı görebilirsiniz. Last responsive code ile 301, 200 veya 404 gibi kodları analiz edebilirsiniz.

Sadece Googlebot değil; Googlebot Smarphone, Yandex, Bingbot ve Baidu içinde seçim yaparak sadece o botları görebilirsiniz.

Directories bölümünde ise sitenizin hangi bölümlerini botların en çok gezdiğini analiz edebilirsiniz.

Belirttiğim gibi daha birçok bulguyu rapor halinde müşterinize sunabilirsiniz.

Her ne kadar zorunlu olmasada sahte botları ayırt etmeye de değinmek istiyorum.

Başlat’a gelip “cmd” yazın

Siyah ekran geldiyse endişe etmeyin.  Screaming’e dönüp IP adreslerinden birisini kopyalayın.

CMD ekranında “nslookup IP adresi” yazıp enter tuşuna basın.

Botlar Sayfalarınızı Neden Az Tarar?

• Tarama derinliği sorunları,
• Yinelenen içerik,
• Sayfalar site haritalarında bulunmaz,
• İç bağlantıların az sayıda olması,
• Robots.txt kuralları yüzünden taramanın engellenmesi.

Log Analizinde Kullandığım Programlar & Araçlar

Sublime Text: satır satır dosyaları açabilmek için. Yüksek boyutlarda log dosyanız varsa açması uzun sürebilir.

Splunk: Yüksek boyutlara varan logları analiz etmek için tercih edebilirsiniz.

Screaming Frog Log File Analyser: Log dosyasını ücretsiz analiz edebileceğiniz araç. (Belli limitlere kadar 1.000 URL)

Üst düzey müşterilerinizde veya ciddi yatırımlar olan projelerde log analizi kullanılabilir. Biraz zahmetli süreç olduğundan müşterinize bu durumu bilgi verebilir ve ekstra ücretlendirme isteyebilirsiniz.

Faydalı Bağlantılar;

• Portent.com
• Moz.com