igrek <...@...com> pisze:
> Ostatnio zauważyłem, że na jednej z moich stron robot googlowy się za
> bardzo rozbestwił i włazi tam, gdzie nie powinien.
>
> W robots.txt jest czarne na białym:
>
> User-agent: *
> Disallow: /styles/
> Disallow: /images/
> Disallow: /scripts/
>
> ...a google i tak ostatnio to olewają i czytają wszystko z tych
> katalogów jak leci. Też tak macie?

1) Kiedy zmieniłeś robots.txt?
Niedawno => Google "zapamiętuje" robots.txt "na trochę"

2) Czy połączenia są z adresów google?
[ "zbieracze maili" dla spamerów *mogą* udawać Google-Bot ]
Sprawdź we WHOIS kto jest właścicielem adresów z których przychodzą te
połączenia.

--
Andrzej Adam Filip : a...@o...eu : A...@g...com
Brzydkie wierne, a piękne niewierne.
-- Przysłowie włoskie (pl.wikiquote.org)