Bant genişliğini korumak amacıyla Google bot günde bir kez sadece robots.txt dosyasını indirir veya ne zaman sunucuda birden fazla sayfa varsa yine aynı şey geçerlidir. O yüzden robots.txt sayfasında yapılmış olabilecek herhangi değişikliğin Googlebot tarafından öğrenilmesi zaman alabilir. Ayrıca Googlebot birden fazla makineye dağılmıştır. Bunların her biri robots.txt dosyaları hakkında kendi kayıtlarını tutarlar. Ayrıca kodlamanızın http://www.robotstxt.org/wc/norobots.html daki standarda göre doğru olduğunu kontrol edin. Eğer hala bir problem var gibi ise, lütfen bize bildirin ve biz onu düzeltiriz.