Ich frage mich ob sich dieser Spider an die robots.txt Konvention hält. Und wie reagieren, wenn z.B. Auktionssites sie aussperren

Teufelsgrinsen

Bei heise online news gibts den Originalartikel.