DerEinzige & traumfahne.de
zeitschrift zum selbstausdrucken im eigenverlag vom 8. 3. 2007 | gesamtausgaben: 269
irlbot
8. März 2007 | ausgabe drucken | leserbrief schreibenin letzter zeit taucht öfter mal der irlbot (crawler4.irl.cs.tamu.edu) bei mir auf. ein projekt der tamu (eine us kadetten uni), besser gesagt ihrer informatik abteilung. laut deren aussage werden zur zeit keine daten gespeichert 
wens stört, da gibts die anleitung, um den bot zu steuern.
#edit … der bot ist wirklich nichtsnutzig und bandbreiten verschwenderisch!
meine empfehlung für deine robots.txt:
User-agent: IRLbot
Disallow: /
oder zumindest:
User-agent: IRLbot
Crawl-delay: 360
autor: jeff brett, verfasst am 8. 3. 2007
permalink: http://dereinzige.de/2007/03/08/irlbot/
short url: http://dereinzige.de/171
