Nasıl bir girdi yapmam gerekiyor Robots.txt dosyasına?
Linkler
URL/1
URL/2
Şeklinde. Hepsini tek tek el ile girmek mümkün değil.
/* şeklinde bir girdi yapsak hiç bir konu indexlenmez.
URL yapısı Robots.txt dosyasından engellemek için müsait değil sanırım.
Düzenleme: Disallow: / d / * / * işe yarayabilir sanırım 🙂