Sat, 2 Jun 2012 10:40:57 +0200, M.G. napisał(a):

>>> A co z "nie pokazuj robotom treści innej niż użytkownikom"?
>>
>> Ależ to zostanie spełnione, treść nie jest różna, ograniczamy tylko
>> dostępność do niej.

> Chwileczkę, jeśli zadaniem robota jest indeksowanie treści, a treść
> dostępna jest publicznie (robot może ją zindeksować, użytkownik zaś
> otworzyć bez przechodzenia przez żadną barierę), to chyba powinna się w
> indeksie znaleźć.

Wszystko się zgadza, ale niekiedy z jakichś przyczyn właściciel treści może
nie chcieć, aby były dostępne w wyszukiwarkach.
Google i inne topowe wyszukiwarki respektują przecież bez problemu
znaczniki noindex i blokady w robots.txt.
To pierwsze nawet nie zabrania robotowi możliwości czytania treści, a
jedynie utrzymywania jej w indeksie :)

Problem jest jednak taki, że jeśli z jakichś powodów nie chcielibyśmy na
pojedynczej podstronie udostępniać wybranych danych dla wyszukiwarek, to
taki gotowy znacznik nie istnieje.


> Przychodzą mi do głowy dwa wyjątki:
>
> 1. Duplikacja treści pomiędzy różnymi URLami, które oznaczają jedynie np.
> wyświetlenie tego samego produktu w dwóch różnych widokach. Ale od tego są
> odpowiednie mechanizmy.

O duplikaty wyszukiwarki dbają same (choć średnio im wychodzi), a webmaster
może rozwiązać problemy z nimi bez blokowania dostępu do samych treści jak
sam zauważasz. W sumie więc nie dotyczy to naszej dyskusji ;)


> 2. Treść dostępna po zalogowaniu (fora, aplikacje webowe). To też nie jest
> problem, bo robot się nie powinien móc zalogować.

Oczywiście :)

Natomiast ten element jest wykorzystywany czasem w sposób niezgodny z
założeniami wyszukiwarek i tu mamy już realny problem gdzie można
"podpaść".
Rzecz tyczy się sytuacji, gdy udostępnimy robotom treści na forum, a
użytkownikom ograniczymy dostęp do nich przez wymóg logowania (często
połączonego z płatnymi kontami). Za to często się leci z indeksu :)


--
Kapsel
http://kapselek.net
kapsel(malpka)op.pl