Robots.txt ayrıştırması standart hale geliyor
25 yıllık REP, standart üzere gözükse de farklı web geliştiriciler robots.txt evrakını ayrıştırırken farklı yöntemler kullanabiliyor. Haliyle bu da karışıklığa sebebiyet veriyor. Birtakım arama robotlarının da boyutları yüzlerce megabayta varan robots.txt evraklarını okumakta zorlanması durumları zorlaştıran bir öteki sıkıntı. Hülasa Google, kendi ayrıştırıcısını açık kaynak kodlu yayınlayarak bu biçim problemlerin ortadan kalkıp, belirli bir standardın oluşmasını istiyor.
Google, birçok iş koluna ayrılmış olsa da arama motoru kısmı şirketin temelini oluşturuyor. Sitelerin indekslenip arama sonuçlarında çıkması da Googlebot isimli arama robotu sayesinde sağlanıyor. Farklı geliştiricilerin de kendi arama robotları var. Robots.txt ayrıştırması için Google’ın yayınladığı bu kütüphane kullanılırsa, arama robotlarının da siteleri indekslemesi çok daha rahat olacak.
Tabii ki geliştiriciler tarafından benimsenmediği sürüce standart haline gelmesi mümkün değil. Lakin Google “Web site sahiplerinin ve geliştiricilerin internet tecrübesini geliştirmeye odaklanıp, arama robotlarını nasıl denetim edecekleriyle uğraşmamalarını istiyoruz.” açıklamasında bulundu. Geliştiricilerden kütüphane hakkında geri dönüşler bekleniyor.
