Ilość wypowiedzi w tym wątku: 1
-
1. Data: 2006-12-21 19:05:06
Temat: Niezmordowany crawler2.wp.pl
Od: Wojciech Ścigała <u...@s...wojtus.net>
Mam stronę, na której robots.txt mówi wyraźnie:
User-agent: *
Disallow: /
A od niedawna crawler2.wp.pl łączy mi się ponad 20 razy dziennie i
pobiera robots.txt, próbując z róznymi wartościami User-agent.
Tylko na mnie się tak uwziął, czy ktoś jeszcze potwierdzi zjawisko?
--
Wojtuś.net
do górystrony :
[ 1 ]
![Małe i średnie mieszkania zdrożały w I kw. 2024 aż o 19% r/r [© Victoria z Pixabay]](https://s3.egospodarka.pl/grafika2/rynek-mieszkaniowy/Male-i-srednie-mieszkania-zdrozaly-w-I-kw-2024-az-o-19-r-r-259507-50x33crop.jpg "Małe i średnie mieszkania zdrożały w I kw. 2024 aż o 19% r/r [© Victoria z Pixabay]")
Małe i średnie mieszkania zdrożały w I kw. 2024 aż o 19% r/r
