Engellemek istediğim her dosyayı listelemek istemiyorum.

Kalıp eşlemesi kullanabilir miyim?Evet, Googlebot bazı şablon eşlemelerini yorumlar.

Bu, standardın genişletilmiş halidir ve tüm botlar buna uymayabilir.

* karakterini kullanarak bir karakter sırasıyla eşleme
Bir karakter sırasıyla eşleşmek için (*) yıldız kullanabilirsiniz. Örneğin, özel ile başlayan tüm alt dizinlere erişimi engellemek için aşağıdaki girişi kullanabilirsiniz:

User-agent: Googlebot
Disallow: /ozel*/
Bir soru işareti (?) içeren tüm URL'lere erişimi engellemek için aşağıdaki girişi kullanabilirsiniz:

User-agent: *
Disallow: /*?
$ karakterini kullanarak URL'nin bitiş karakterleriyle eşleme
URL sonu eşlemeyi belirtmek için $ karakterini kullanabilirsiniz. Örneğin, .asp ile biten bir URL'yi engellemek için aşağıdaki girişi kullanabilirsiniz:

User-agent: Googlebot
Disallow: /*.asp$
Bu kalıp eşlemesini, İzin Ver yönergesiyle birlikte kullanabilirsiniz. Örneğin, ? bir oturum kimliğini gösteriyorsa bu öğeleri içeren tüm URL'leri dışlayarak Googlebot'un aynı sayfaları taramasını önleyebilirsiniz. Ancak ? ile biten URL'ler, eklenmesini istediğiniz sayfanın sürümü olabilir. Bu durumda, robots.txt dosyanızı aşağıda gösterildiği biçimde ayarlayabilirsiniz:

User-agent: *
Allow: /*?$
Disallow: /*?
Disallow:/ *? satırı, ? içeren URL'lerin tümünü engeller (daha açık belirtmek gerekirse, alanınızla başlayan ve ardından herhangi bir dize, bir soru işareti ve herhangi bir dize gelen URL'lerin tümünü engeller).

Allow: /*?$ satırı ? ile biten tüm URL'lere izin verir (daha açık belirtmek gerekirse, alanınızla başlayan ve ardından bir dize ve bir ? gelen ve ? işaretinden sonra hiç karakter içermeyen URL'lerin tümüne izin verir).

Kaynak : Google Site Yönetici Yardım Merkezi

Bu konuda merak ettiğiniz takıldığınız sormak isdediğiniz birşey varsa bu başlık atında size yardımcı olabilirim.

Güzel bilgiler teşekkürler.

__________________
Profilo Servisi | Bosch Servisler | notebookdepo

paylaşımlarınız için teşekkürler.