Rozważmy taki przykład:

Redaktor zamieszcza w serwisie artykuł. Google go indeksuje, a link
przechowuje u siebie. Po pewnym czasie administrator usuwa
kontrowersyjny artykuł, ale Google nadal pamięta link. Widzi cały
layout strony, ale zamiast artykułu, widnieje napis "strona nie
istnieje" z dodatkowymi pouczeniami i linkami (jak to zwykle bywa na
stronach 404). Robot myśli, że strona istnieje, ale się zmieniła!

Jak powiadomić Google, że ta strona już nie istnieje i powinna
wylecieć won z indeksu?

1) Wysłać nagłówek 404

header('Status: 404 Not Found');
header('HTTP/1.0 404 Not Found');
header('', true, 404);

Jak widać, można to zrobić na kilka sposobów, ale jak najlepiej?
Jednak mam obawy, że niektóre przeglądarki albo serwery proxy po
prostu wyświetlą swoją stronę 404.

2) Zakazać indeksowania

Po prostu w <meta> napisać: noindex, follow

Nie wiem, jak w tej sytuacji zachowa się Google i jak to wpłynie na
pozycję serwisu w wyszukiwarce.

Ciekawe, co stanie się, gdy napiszę tylko: noindex, ale bez "follow"

3) Inny sposób?

Odpada .htaccess, bo takich sytuacji może być wiele. Po prostu w CMS-
ie strona 404 ma także informować roboty, że to jest nieistniejąca
strona i koniec.

do góry

W dniu 2010-05-15 18:36, WebCM pisze:
> Rozważmy taki przykład:
>
> Redaktor zamieszcza w serwisie artykuł. Google go indeksuje, a link
> przechowuje u siebie. Po pewnym czasie administrator usuwa
> kontrowersyjny artykuł, ale Google nadal pamięta link. Widzi cały
> layout strony, ale zamiast artykułu, widnieje napis "strona nie
> istnieje" z dodatkowymi pouczeniami i linkami (jak to zwykle bywa na
> stronach 404). Robot myśli, że strona istnieje, ale się zmieniła!

robot nie myśli. robot wie najczęściej. Od strony serwera http: jak
strona istnieje to robot dostaje kod 200 i treść. Jak strona nie
dostaje, to dostaje kod 404 i treść.
Raczej nikt nie robi stron typu 404 "lewych", czyli odpowiadając
przeglądarce/robotowi kodem 200 z podmienioną zawartością - wtedy
faktycznie strona "by była, ale zmieniona".
Po normalnemu jest to kod 404 i robot WIE.

Wojtek

do góry

maj roku pamiętnego 2010, prawdopodobnie 15. Wielka mądrość na
czytelników pl.comp.www spłynęła, gdy tako rzekł(a) crazy bejbi:

> Raczej nikt nie robi stron typu 404 "lewych", czyli odpowiadając
> przeglądarce/robotowi kodem 200 z podmienioną zawartością - wtedy
> faktycznie strona "by była, ale zmieniona".

Niestety takie coś zdarza się nawet dość sporym portalom. Zobacz sobie
np.
http://www.tekstowo.pl/piosenka,unknown_artist,this_
song_does_not_exist.html .

Kiedyś pisałem sobie robota do pobierania tekstów piosenek na dysk. Z 4
stron z tekstami które uwzględniłem, tylko jedna na zapytanie o tekst
którego nie ma w jej bazie zwraca 404 -- reszta zwraca 200 OK i w treści
informację że nie dysponuje danym materiałem.
--
Niżej podpisany, zamieszkały w http://minio.xt.pl ,
Mirosław Zalewski

do góry

W dniu 2010-05-15 19:25, Mirosław Zalewski pisze:

> Niestety takie coś zdarza się nawet dość sporym portalom. Zobacz sobie
> np.
> http://www.tekstowo.pl/piosenka,unknown_artist,this_
song_does_not_exist.html .
>
> Kiedyś pisałem sobie robota do pobierania tekstów piosenek na dysk. Z 4
> stron z tekstami które uwzględniłem, tylko jedna na zapytanie o tekst
> którego nie ma w jej bazie zwraca 404 -- reszta zwraca 200 OK i w treści
> informację że nie dysponuje danym materiałem.

http://www.tekstowo.pl/piosenka,no_tak_tutaj_mozna_w
pisac_cokolwiek.html

To jest raczej niekoniecznie celowe działanie. po prostu ktoś ma kiepsko
napisaną stronę, która przechwytuje wszystko i próbuje includować np.
treść po stringu jaki się poda w przeglądarce.

Natomiast w takim przypadku jest zwracany poprawny komunikat.

Pytanie autora wątku było o to jak pokazać google, ze strona przestała
istnieć - w normalnym portalu, tj. poprawnie napisanym, serwer
odpowiedziałby kodem 404 i wyświetlił reklamy/whatever, ale google by od
razu widziało, że to nie strona, a błąd.

Wojtek

do góry

maj roku pamiętnego 2010, prawdopodobnie 15. Wielka mądrość na
czytelników pl.comp.www spłynęła, gdy tako rzekł(a) crazy bejbi:

> To jest raczej niekoniecznie celowe działanie. po prostu ktoś ma
> kiepsko napisaną stronę, która przechwytuje wszystko i próbuje
> includować np. treść po stringu jaki się poda w przeglądarce.

Oczywiście że tak. Ja też jestem niemal pewien że wynika to z
nieumiejętności albo braku pomyślunku ze strony osoby (osób) piszących
silnik takiej strony.

Chodziło mi tylko o pokazanie że jednak serwowanie nieistniejących
stron z 200 OK się zdarza, i bynajmniej nie stanowi jakiegoś
pomijalnego ułamka wszystkich stron. Myślę że jest nawet dość
powszechne -- zwłaszcza na samodzielnie tworzonych stronach osób które
niespecjalnie znają się na stronach internetowych lub nie są wprawne w
programowaniu.
--
Niżej podpisany, zamieszkały w http://minio.xt.pl ,
Mirosław Zalewski

do góry

"serwer odpowiedziałby kodem 404 i wyświetlił reklamy/whatever"

To nie jest typowa strona 404, jaką widzimy na co dzień, ale
wewnętrzna strona 404 w serwisie z czytelnym komunikatem, że strona
nieaktualna / link zaprowadził nie tam, gdzie trzeba, itd.

W tym przypadku na pewno wysłać 404?

Czy lepiej: noindex, follow?

Mogę wysłać 404, ale boję się, że IE 5/6 albo jakaś inna egzotyczna
przeglądarka albo proxy wyświetli typową stronę 404 zamiast konkretną.

Czyli jaki nagłówek powinienem wysłać?

HTTP/1.0 404 Not Found
HTTP/1.1 404 Not Found
Status: 404 Not Found

czy może skorzystać z 3. parametru funkcji header() w PHP?

do góry

W dniu 2010-05-15 19:44, WebCM pisze:

> Czyli jaki nagłówek powinienem wysłać?
>
> HTTP/1.0 404 Not Found
> HTTP/1.1 404 Not Found
> Status: 404 Not Found

ale po co chcesz coś wysyłac i "podszywać się" pod własny serwer www. Po
prostu skasuj stronę, a _serwer_ powinien wyświetlić odpowiednią stronę
404 (przy okazji z kodem 404).

Wojtek

do góry

On 2010.05.15 18:36, WebCM wrote:
> 1) Wysłać nagłówek 404

Ja zawsze wysyłam 404 w takich sytuacjach.

> header('Status: 404 Not Found');
> header('HTTP/1.0 404 Not Found');
> header('', true, 404);
>
> Jak widać, można to zrobić na kilka sposobów, ale jak najlepiej?

Status: zadziała tylko tam, gdzie PHP jest uruchomiony w trybie
CGI/FastCGI, dwa pozostałe zadziałają wszędzie, robią to samo.

> Jednak mam obawy, że niektóre przeglądarki albo serwery proxy po
> prostu wyświetlą swoją stronę 404.

Jak wyślesz normalny szablon i w nim napis, że strona nie istnieje,
jakieś linki itp. to wyświetlą twoją stronę. A jak wyślesz pusty
dokument, czy coś bardzo krótkiego, to zastąpią swoim komunikatem.

> 2) Zakazać indeksowania
>
> Po prostu w<meta> napisać: noindex, follow
>
> Nie wiem, jak w tej sytuacji zachowa się Google i jak to wpłynie na
> pozycję serwisu w wyszukiwarce.

Wyindeksuje jedną stronę, z pozostałymi stronami nic nie zrobi.

> Ciekawe, co stanie się, gdy napiszę tylko: noindex, ale bez "follow"

To samo co przy noindex, follow.

do góry

Nie wszyscy zrozumieli, w czym problem.

"po co chcesz coś wysyłać i "podszywać się" pod własny serwer www"

Rozważ adres: mojastrona.pl/plik/45-microsoft-office

Po pewnym czasie plik o ID=45 znika! Skąd serwer ma wiedzieć, że ma
wyświetlić stronę 404, jeżeli żądanie ZAWSZE jest przekazywane do CMS-
a? Na pewno to jest możliwe, ale daj jakiś przykład.
Modyfikacja .htaccess odpada.

"Wyindeksuje jedną stronę, z pozostałymi stronami nic nie zrobi."

Jedna strona (błąd 404) oczywiście NIE może znaleźć się w indeksie,
ale inne podstrony (do których bot wejdzie np. z menu albo linków
widniejących pod komunikatem o nieistniejącej stronie) już mogą
istnieć :)

Co w tej sytuacji zrobi bot po zobaczeniu nagłówka 404? Wejdzie w inne
linki? A w przypadku noindex,follow?

Zgodnie z zasadami semantyki i idei HTML 5 / Web 3.0 pewnie i tak
należy wysłać 404, bo to jest nieistniejąca strona, ale bardziej
obchodzi mnie, jak zachowa się Googlebot, MSNBot, itd... w praktyce.

do góry

On 2010.05.15 22:49, WebCM wrote:
> Co w tej sytuacji zrobi bot po zobaczeniu nagłówka 404? Wejdzie w inne
> linki? A w przypadku noindex,follow?

Nie zaindeksuje strony z 404/noindex, ale zaindeksuje strony linkowane z
niej.

do góry