-
Data: 2022-03-15 12:18:48
Temat: Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.]
Od: "Andrzej A. Filip" <a...@o...eu> szukaj wiadomości tego autora
[ pokaż wszystkie nagłówki ]Tomek <s...@w...xx.pl> pisze:
> W dniu 13.03.2022 o 20:56, Andrzej A. Filip pisze:
>> Roman Tyczka <r...@h...you.spammer> pisze:
>>> On 11.03.2022 07:31, Andrzej A. Filip wrote:
>>>> Sugestia przestała był użyteczna. Amazon blokuje User-Agent wget i
>>>> samego wget "zależnie od fazy księżyca". Kilka razy zadziałało a
>>>> teraz blokuje dostęp prawie zawsze.
>
>
> To może użyj wgeta z parametrem:
> --random-wait
Problem polega na tym że amazom.com *teraz już* odwala próbę
ściągnięcia pierwszej strony przez wget.
---request begin---
GET /Best-Sellers-Science-Fiction-Fantasy/zgbs/books/25/ HTTP/1.1
Host: www.amazon.com
User-Agent: Wget/1.21.2
Accept: */*
Accept-Encoding: identity
Connection: Keep-Alive
---response begin---
HTTP/1.1 503 Service Unavailable
Content-Type: text/html
Content-Length: 2671
Connection: keep-alive
...
Vary: Content-Type,Accept-Encoding,X-Amzn-CDN-Cache,X-Amzn
-AX-Treatment,User-Agent
...
X-Cache: Error from cloudfront
...
--
Andrzej A. Filip
Najnowsze wątki z tej grupy
- is it live this group at news.icm.edu.pl
- php, linki z nazwami a $_GET, SEO
- www polityka pl captcha
- dyktatura brudnego palucha
- www.znanylekarz.pl
- Czy pytanie o sczytywanie stron programami/skryptami to tu?
- Grupy webdevowe
- Jak wydrukować stronę?
- IIS, kilka witryn
- linki <a href="/strona.php"> (ze slashami)
- co rozszerza stronę??
- responsywny akapit <p>
- Czy istnieje jakiś emulator przeglądarek pod Mac'a?
- taka sama konfiguracja dla localhost i produkcji
- TypeScript - jak uzyskać zmienne prywatne? Gdzie korzyści z TS?
Najnowsze wątki
- 2024-04-27 Nowy, "szybki "komputer AsRock nie posiada modułu TPM
- 2024-04-27 Nowy, "szybki "komputer AsRock nie posiada modułu TPM
- 2024-04-27 Warszawa => Inżynier DevOps (projekt JP) <=
- 2024-04-27 Warszawa => Senior Account Manager (on-site) <=
- 2024-04-27 Wrocław => Dyrektor Sprzedaży (branża usług/produktów IT) <=
- 2024-04-27 Warszawa => Sales Representative for Outsourcing Services <=
- 2024-04-27 Chrzanów => Administrator i wdrożeniowiec Lotus Notes/Domino <=
- 2024-04-27 Ja pierdolę...
- 2024-04-27 Ryby i kawitacja
- 2024-04-27 Zabrze => Junior HelpDesk <=
- 2024-04-27 Katowice => Administrator IT - Wirtualizacja i Konteneryzacja <=
- 2024-04-27 Bażanowice => Inżynier Industrializacji - Elektronik <=
- 2024-04-27 Warszawa => Full Stack web developer (obszar .Net Core, Angular6+) <=
- 2024-04-27 Zadaszenie tarasu, a wymagany spadek
- 2024-04-27 Warszawa => Senior Account Manager <=