W dniu 2010-11-11 16:54, identifikator: 20040501 pisze:
> sory, że trochę nie ta grupa, ale na www nie chcą mi powiedzieć,
> czy pająki google mają jakieś ustalone adresy IP? gdzie znaleźć ich spis?
>
> ciągle pojawiają się u mnie z innych IP, tylko dwie początkowe cyfry się
> nie zmieniają... ale to chyba niemożliwe, żeby zagarneli 2^16 adresów IP?

Zdaje się, że jest coś takiego jak pliki robots.txt (czy coś w tym
stylu) i tam można coś powpisywać by ograniczyć działanie pająka
wyszukiwarki. Wiem, że to działa, bo niektóre strony w wynikach Google
są bez opcji "kopia". Ale czy można tam wpisać by się całkiem odwalili,
to nie wiem.