On Fri, 04 Dec 2009 18:47:00 -0000, pol <v...@o...pl> wrote:

> lazi mi pelno botow po stronie. nie mam nic przeciwko yahoo,cuil czy
> google, ale coraz wiecej jest z bialorusi, czech czy rosji (yandex.ru)
> tak sie zastanawiam czy sa one na stronie potrzebne? w koncu co mi po
> zsindexowaniu w jakiejs ruskiej wyszukiwarce?
> co o tym sadzicie czy nie lepiej dac na boty disallow z wylaczeniem tych
> kilku najwiekszych i najpoipularniejszych?
> z drugiej strony czy boty z rosji,czech czy bialorusi beda sie stosowaly
> do ustawien w robot.txt? :)

A czemu miały by się nie stosować? Tamtejszy Internet nie wygląda jak na
filmach z Bondem ;)


Jak chcesz blokować boty za nadmierny ruch, to zacznij od Yahoo. Czasem
jak się zatnie, to potrafi stronę obciążać gorzej, niż spamboty.

Tak na poważnie, to nie ma sensu blokować botów wyszukiwarek. Te, które
grzecznie dają się blokować jednocześnie generują najmniej ruchu.

Jak blokować, to spamboty. Spamerzy najczęściej nie płacą za ruch jaki
generują i im zwisa jak bardzo obciążają strony. Z tym, że żaden spambot
nawet nie dotknie robots.txt i blokowanie ich to trudniejsza sprawa.
Trzeba blokować je po IP (zob. spamhaus DROP i czarna lista IP sblam).

--
http://pornel.net
this.author = new Geek("porneL");