-
Data: 2022-03-11 07:31:14
Temat: Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.]
Od: "Andrzej A. Filip" <a...@o...eu> szukaj wiadomości tego autora
[ pokaż wszystkie nagłówki ]"Andrzej A. Filip" <a...@o...eu> pisze:
> Tomek <s...@w...xx.pl> pisze:
>> W dniu 09.03.2022 o 14:41, Andrzej A. Filip pisze:
>>> Czy da się *bez java-script* sczytać pełne top100 z list amazona?
>>> Może skryptu bez java-script (po stronie klienta) widzą pozycje
>>> 1:30 i 51:80.
>>> https://www.amazon.com/best-sellers-books-Amazon/zgb
s/books/
>>>
>>
>> A sprawdzałeś jak sobie radzi "wget"?
>
> Chciałem sprawdzić tylko "na odczepnego" ale o dziwo różnica jest i na
> pierwszy rzut oka jest 50 pozycji na stronie. Dzięki za *o dziwo*
> działające rozwiązane. Później sprawdzę czy samo ustawienie nagłówka
> User-Agent wystarcza [raczej tak nie niekoniecznie (na dłużej)].
>
> Wkopałem się w obecną pozycję bo AFAIR Amazon się biesił na pusty
> User-Agent albo "nie poprawiony" dla WWW::Mechanize (perl).
> Zresztą AFAIR Amazon co kilka miesięcy odstawia "małą rewolucje".
Sugestia przestała był użyteczna. Amazon blokuje User-Agent wget i
samego wget "zależnie od fazy księżyca". Kilka razy zadziałało a
teraz blokuje dostęp prawie zawsze.
PO prostu użyje czego innego to śledzenia nowości z kategorii książek
które mnie interesują "w akceptowalnym dla mnie formacie".
--
Andrzej A. Filip
Następne wpisy z tego wątku
- 13.03.22 20:26 Roman Tyczka
- 13.03.22 20:56 Andrzej A. Filip
- 15.03.22 09:46 Tomek
- 15.03.22 12:18 Andrzej A. Filip
Najnowsze wątki z tej grupy
- Perfidne ataki krakerów z KRLD na skrypciarzy JS i Pajton
- Do sądu trafił pozew zbiorowy przeciw Google'owi - oskarżenie o praktyki monopolistyczne na rynku reklamy internetowej
- Jakie znacie działające serwery grup dyskusyjnych?
- is it live this group at news.icm.edu.pl
- php, linki z nazwami a $_GET, SEO
- www polityka pl captcha
- dyktatura brudnego palucha
- www.znanylekarz.pl
- Czy pytanie o sczytywanie stron programami/skryptami to tu?
- Grupy webdevowe
- Jak wydrukować stronę?
- IIS, kilka witryn
- linki <a href="/strona.php"> (ze slashami)
- co rozszerza stronę??
- responsywny akapit <p>
Najnowsze wątki
- 2025-05-06 Agregat z lodówki olej
- 2025-05-06 Wrocław => Konsultant wdrożeniowy (systemy controlingowe) <=
- 2025-05-06 Warszawa => Senior Node.js Developer (doświadczenie z framework Nest.
- 2025-05-06 Dęblin => Node.js / Fullstack Developer <=
- 2025-05-06 Warszawa => IT Business Analyst (projects in the telco sector) <=
- 2025-05-06 Title: The Economics and Systemic Implications of Bitcoin: Cost, Scarcity, and the Institutional Race for Dominance .
- 2025-05-06 SMSy
- 2025-05-06 Kraków => MS Dynamics 365BC/NAV Developer <=
- 2025-05-06 Warszawa => Strategic Account Manager <=
- 2025-05-06 Warszawa => Senior Frontend Developer (React + React Native) <=
- 2025-05-06 Gdynia => ML Ops Engineer <=
- 2025-05-06 Drobne umowy o dzielo z przeniesieniem praw autorskich
- 2025-05-06 wydobywanie Bitcoinów jest aktualnie zajęciem po prostu nieopłacalnym. Jak wynika z opublikowanych danych, średni koszt wygenerowania jednego Bitcoina wynosi ok. 137 tysięcy dolarów.
- 2025-05-06 Join Bitcoin Blockchain Nonce Global University
- 2025-05-06 Gdynia => ML Ops Engineer <=