... wenn in der monatlichen Traffic-Statistik 1.79 GB für normale Besucher stehen, aber 1.83 GB für Bots und son Zeug. Und wenn man dann feststellt, das 1 GB alleine an den Google-Bot verschwendet wurde, 0.5GB an Inktomi und immerhin noch 125 MB an den MSNBot. Irgendwie scheint das ganze Internet hauptsächlich von Bots gelesen zu werden, nicht von Menschen: Bots hatten 235071 Seitenabrufe, Menschen nur 114158 Seitenabrufe.
Wenn es irgendwann einen Terminator gibt, wird der warscheinlich von einer Internet-Suchmaschine kontrolliert ...
popel Feb. 3, 2006, 8:22 a.m.
Ich nehme zwar an, dass du das schon machst, aber es gibt ja noch andere:
robots.txt
Damit kann man die Suchmaschinen aus bestimmten Verzeichnissen raushalten. Hierfür besonders geeignet: image-Verzeichnisse, Photoalben, ...
Die Google Picturesuche ist eh weniger brauchbar für die eigenen Privataufnahmen;=)
hugo Feb. 3, 2006, 8:45 a.m.
Naja, ich hab üblicherweise keine robots.txt auf dem Server, weil ich da nicht so das Problem drin sehe. Nur ist mir halt das extreme Missverhältnis aufgefallen und mir ist spontan der elektrische Mönch von Douglas Adams eingefallen - Maschinen, die für den Menschen glauben, Maschinen, die für den Menschen gucken, Maschinen, die für den Menschen lesen - auf Dauer dann Maschinen, die für den Menschen leben ;-)
Kai Feb. 5, 2006, 6:53 p.m.
man könnte natuerlich im header ein revisit-after setzen. meines wissens nach halten sich die suchmaschinen daran.. d.h. wenn man das bei den einzelnen beitraegen auf eine woche oder gar einen monat setzt duerfte sich die lage doch recht schnell entspannen.. die startseite sollte natuerlich eine sonderposition einnehmen und taeglich oder sowas besucht werden duerfen..
hugo Feb. 5, 2006, 10:14 p.m.
Ach watt. Ich hab halt nur diese seltsame Vorstellung, das Suchmaschinen irgendwann intelligent werden - und wenn ich mir vorstelle, die entwickelt sich aus dem was sie hier liest ... ;-)
Lars Feb. 7, 2006, 4:31 p.m.
Referrspammer können auch einen erheblichen Anteil am Traffic, usw. haben. Vorallem wenn man ein Wakka-Wiki hat.