igrek pisze:
> Ostatnio zauważyłem, że na jednej z moich stron robot googlowy się za
> bardzo rozbestwił i włazi tam, gdzie nie powinien.
>
> W robots.txt jest czarne na białym:
> User-agent: *
> Disallow: /styles/
> Disallow: /images/
> Disallow: /scripts/
>
> ...a google i tak ostatnio to olewają i czytają wszystko z tych
> katalogów jak leci. Też tak macie?
>
>

https://www.google.com/webmasters/tools/
przetestuj plik robots.txt na stronie google :)
Konfiguracja witryny -> Dostęp dla robotów (musisz mieć konto google)