-
Path: news-archive.icm.edu.pl!news.icm.edu.pl!newsfeed.pionier.net.pl!2.eu.feeder.erj
e.net!feeder.erje.net!eternal-september.org!reader02.eternal-september.org!.POS
TED!not-for-mail
From: "Andrzej A. Filip" <a...@o...eu>
Newsgroups: pl.comp.www
Subject: Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez? Nie.]
Date: Tue, 15 Mar 2022 12:18:48 +0100 (CET)
Organization: It is for me to know and for you to find out.
Lines: 38
Message-ID: <a...@w...eu>
References: <a...@w...eu> <622875ce$0$500$65785112@news.neostrada.pl>
<a...@w...eu> <6229ab7a$0$488$65785112@news.neostrada.pl>
<a...@w...eu> <a...@w...eu>
<622e4561$0$464$65785112@news.neostrada.pl> <a...@w...eu>
<62305243$0$491$65785112@news.neostrada.pl>
Mime-Version: 1.0
Content-Type: text/plain; charset=utf-8
Content-Transfer-Encoding: 8bit
Injection-Info: reader02.eternal-september.org;
posting-host="a249e4af995a8f7334890cb4bfce76b4";
logging-data="17585";
mail-complaints-to="a...@e...org";
posting-account="U2FsdGVkX1/rV0FYY4+rinQLUastt8wP"
Cancel-Lock: sha1:Pre2678DOnB5T1ELnloueYds+Tk= sha1:hyh4vc6CegVp0iONJQCkLjn9HNw=
Xref: news-archive.icm.edu.pl pl.comp.www:403711
[ ukryj nagłówki ]Tomek <s...@w...xx.pl> pisze:
> W dniu 13.03.2022 o 20:56, Andrzej A. Filip pisze:
>> Roman Tyczka <r...@h...you.spammer> pisze:
>>> On 11.03.2022 07:31, Andrzej A. Filip wrote:
>>>> Sugestia przestała był użyteczna. Amazon blokuje User-Agent wget i
>>>> samego wget "zależnie od fazy księżyca". Kilka razy zadziałało a
>>>> teraz blokuje dostęp prawie zawsze.
>
>
> To może użyj wgeta z parametrem:
> --random-wait
Problem polega na tym że amazom.com *teraz już* odwala próbę
ściągnięcia pierwszej strony przez wget.
---request begin---
GET /Best-Sellers-Science-Fiction-Fantasy/zgbs/books/25/ HTTP/1.1
Host: www.amazon.com
User-Agent: Wget/1.21.2
Accept: */*
Accept-Encoding: identity
Connection: Keep-Alive
---response begin---
HTTP/1.1 503 Service Unavailable
Content-Type: text/html
Content-Length: 2671
Connection: keep-alive
...
Vary: Content-Type,Accept-Encoding,X-Amzn-CDN-Cache,X-Amzn
-AX-Treatment,User-Agent
...
X-Cache: Error from cloudfront
...
--
Andrzej A. Filip
Najnowsze wątki z tej grupy
- is it live this group at news.icm.edu.pl
- php, linki z nazwami a $_GET, SEO
- www polityka pl captcha
- dyktatura brudnego palucha
- www.znanylekarz.pl
- Czy pytanie o sczytywanie stron programami/skryptami to tu?
- Grupy webdevowe
- Jak wydrukować stronę?
- IIS, kilka witryn
- linki <a href="/strona.php"> (ze slashami)
- co rozszerza stronę??
- responsywny akapit <p>
- Czy istnieje jakiś emulator przeglądarek pod Mac'a?
- taka sama konfiguracja dla localhost i produkcji
- TypeScript - jak uzyskać zmienne prywatne? Gdzie korzyści z TS?
Najnowsze wątki
- 2024-04-26 Warszawa => Kierownik Działu Spedycji Międzynarodowej <=
- 2024-04-26 Berlin => IT Network Engineer <=
- 2024-04-26 Warszawa => Starszy inżynier oprogramowania (Rust) <=
- 2024-04-26 Warszawa => Senior PHP Developer (Symfony) <=
- 2024-04-26 Białystok => Business Development Manager - obszar bezpieczeństwa IT
- 2024-04-26 Bieruń => Administrator i wdrożeniowiec Lotus Notes/Domino <=
- 2024-04-26 Warszawa => Product Owner/ Product Manager <=
- 2024-04-26 Warszawa => International freight forwarder <=
- 2024-04-26 Gdańsk => Senior Software Engineer PHP (BillPro) Kontraktor <=
- 2024-04-26 Jak się płaci CIT ?
- 2024-04-26 steve balmer o iphonie w 2007
- 2024-04-25 Wrocław => Java Developer <=
- 2024-04-25 Kraków => AI Specialist <=
- 2024-04-25 Berlin => Solution Architect (secure communication and IoT solutions)
- 2024-04-25 Gdańsk => Specjalista ds. Sprzedaży <=