Re: Google olewają robots.txt - Grupy dyskusyjne w eGospodarka.pl

eGospodarka.pl › Grupy › pl.comp.www › Google olewają robots.txt › Re: Google olewają robots.txt

Path: news-archive.icm.edu.pl!news.gazeta.pl!newsfeed.pionier.net.pl!news.task.gda.pl
!news.wp.pl!not-for-mail
From: Andrzej Adam Filip <a...@x...wp.pl>
Newsgroups: pl.comp.www
Subject: Re: Google olewają robots.txt
Date: Wed, 21 Oct 2009 21:47:47 +0200
Organization: Wirtualna Polska S.A. http://www.wp.pl
Lines: 26
Sender: a...@p...xdsl.centertel.pl
Message-ID: <c...@j...brudna.chmurka.net>
References: <hbn7v3$pvq$1@node2.news.atman.pl>
NNTP-Posting-Host: public10569.xdsl.centertel.pl
Mime-Version: 1.0
Content-Type: text/plain; charset=utf-8
Content-Transfer-Encoding: 8bit
X-Trace: news.wp.pl 1256154477 13404 79.163.41.73 (21 Oct 2009 19:47:57 GMT)
X-Complaints-To: a...@w...pl
NNTP-Posting-Date: Wed, 21 Oct 2009 19:47:57 +0000 (UTC)
X-Organization-Notice: Organization line has been filtered
X-Face: x!RCZuWd!~zy[WZ--'Or^Sg%4CS|m{fI',,mn]{v48gP6t<T}6E3\^w6l";f\KKk}b4f9CD
Tx8UwgYFn@L{y\`J:sm/-*OvU^n{I8o>r9LaE!Sw#;.(U,saf9UdWF+9D9oyXCRUHAw=",9%P~.{jz
:e7&c^rlc@F-X}f!"@Vc^jEZ0F%)&&rEC&9!B<Rb#~~*D0j%rk2tiUT{~o4,`N\y(PxPq*4<9>%&o^
+]]R6
Cancel-Lock: sha1:QSnZ2W2Do3GzrVn+hqLlIV+HOfk=
X-Original-Organization: It's for me to know and for you to find out
Xref: news-archive.icm.edu.pl pl.comp.www:393980
[ ukryj nagłówki ]
igrek <...@...com> pisze:
> Ostatnio zauważyłem, że na jednej z moich stron robot googlowy się za
> bardzo rozbestwił i włazi tam, gdzie nie powinien.
>
> W robots.txt jest czarne na białym:
>
> User-agent: *
> Disallow: /styles/
> Disallow: /images/
> Disallow: /scripts/
>
> ...a google i tak ostatnio to olewają i czytają wszystko z tych
> katalogów jak leci. Też tak macie?

1) Kiedy zmieniłeś robots.txt?
Niedawno => Google "zapamiętuje" robots.txt "na trochę"

2) Czy połączenia są z adresów google?
[ "zbieracze maili" dla spamerów *mogą* udawać Google-Bot ]
Sprawdź we WHOIS kto jest właścicielem adresów z których przychodzą te
połączenia.

--
Andrzej Adam Filip : a...@o...eu : A...@g...com
Brzydkie wierne, a piękne niewierne.
-- Przysłowie włoskie (pl.wikiquote.org)