Web-Crawler sucht nach Steuersündern

Ich frage mich ob sich dieser Spider an die robots.txt Konvention hält. Und wie reagieren, wenn z.B. Auktionssites sie aussperren

Bei heise online news gibts den Originalartikel.