eGospodarka.pl
eGospodarka.pl poleca

eGospodarka.plGrupypl.comp.wwwCzy pytanie o sczytywanie stron programami/skryptami to tu? › Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.]
  • Data: 2022-03-13 20:56:26
    Temat: Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.]
    Od: "Andrzej A. Filip" <a...@o...eu> szukaj wiadomości tego autora
    [ pokaż wszystkie nagłówki ]

    Roman Tyczka <r...@h...you.spammer> pisze:
    > On 11.03.2022 07:31, Andrzej A. Filip wrote:
    >> Sugestia przestała był użyteczna. Amazon blokuje User-Agent wget i
    >> samego wget "zależnie od fazy księżyca". Kilka razy zadziałało a
    >> teraz blokuje dostęp prawie zawsze.
    >> PO prostu użyje czego innego to śledzenia nowości z kategorii
    >> książek
    >> które mnie interesują "w akceptowalnym dla mnie formacie".
    >
    > Zatem sprawdź curla, on ma większe możliwości niż wget.
    > Np. zmiana user agenta:
    > curl -A "moj osobisty browser" adres

    Ależ wget raz czy dwa dostał wszystkie 50 wpisów na stronie
    (zamiast początkowych 30) zanim zaczął dostawać od amazona
    "503: Service Unavailable". [Wpisy 31-50 daje javascript]

    A co do "User-Agent:" : to z czego korzystam też pozwala to ustawić ale
    wygląda że amazon nie tylko to bierze pod uwagę>=. Moje oskryptowanie
    radzi sobie nawet z captha (z moją "ręczną" pomocą). Kiedyś amazon
    pytał co chwilę, jak zaczął dostawać captcha to (w końcu) przestał.

    Użycie Lynx-a jako browsera (czysto tekstoweggo) też nie pomogło.

    --
    Andrzej A. Filip

Podziel się

Poleć ten post znajomemu poleć

Wydrukuj ten post drukuj


Następne wpisy z tego wątku

Najnowsze wątki z tej grupy


Najnowsze wątki

Szukaj w grupach

Eksperci egospodarka.pl

1 1 1

Wpisz nazwę miasta, dla którego chcesz znaleźć jednostkę ZUS.

Wzory dokumentów

Bezpłatne wzory dokumentów i formularzy.
Wyszukaj i pobierz za darmo: