Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez?]

eGospodarka.pl › Grupy › pl.comp.www › Czy pytanie o sczytywanie stron programami/skryptami to tu? › Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez?]

Path: news-archive.icm.edu.pl!news.icm.edu.pl!newsfeed.pionier.net.pl!2.eu.feeder.erj
e.net!feeder.erje.net!weretis.net!feeder8.news.weretis.net!eternal-september.or
g!reader02.eternal-september.org!.POSTED!not-for-mail
From: "Andrzej A. Filip" <a...@o...eu>
Newsgroups: pl.comp.www
Subject: Re: Sczytywanie skryptem Amazon Top100 [wget (User-Agent) rulez?]
Date: Thu, 10 Mar 2022 09:00:40 +0100 (CET)
Organization: It is for me to know and for you to find out.
Lines: 23
Message-ID: <a...@w...eu>
References: <a...@w...eu> <622875ce$0$500$65785112@news.neostrada.pl>
<a...@w...eu> <6229ab7a$0$488$65785112@news.neostrada.pl>
Mime-Version: 1.0
Content-Type: text/plain; charset=utf-8
Content-Transfer-Encoding: 8bit
Injection-Info: reader02.eternal-september.org;
posting-host="924b582709318ae118802018f52d97f9"; logging-data="2776";
mail-complaints-to="a...@e...org";
posting-account="U2FsdGVkX1+ly1qlj17nfIET+PYEbcDH"
Cancel-Lock: sha1:gHaJ+j1VXWP6FtYaMsltpSt6uIg= sha1:plFDxFXLEeHj9EbcX8ltJehyYAw=
Xref: news-archive.icm.edu.pl pl.comp.www:403706
[ ukryj nagłówki ]
Tomek <s...@w...xx.pl> pisze:
> W dniu 09.03.2022 o 14:41, Andrzej A. Filip pisze:
>> Czy da się *bez java-script* sczytać pełne top100 z list amazona?
>> Może skryptu bez java-script (po stronie klienta) widzą pozycje
>> 1:30 i 51:80.
>> https://www.amazon.com/best-sellers-books-Amazon/zgb
s/books/
>>
>
> A sprawdzałeś jak sobie radzi "wget"?

Chciałem sprawdzić tylko "na odczepnego" ale o dziwo różnica jest i na
pierwszy rzut oka jest 50 pozycji na stronie. Dzięki za *o dziwo*
działające rozwiązane. Później sprawdzę czy samo ustawienie nagłówka
User-Agent wystarcza [raczej tak nie niekoniecznie (na dłużej)].

Wkopałem się w obecną pozycję bo AFAIR Amazon się biesił na pusty
User-Agent albo "nie poprawiony" dla WWW::Mechanize (perl).
Zresztą AFAIR Amazon co kilka miesięcy odstawia "małą rewolucje".

"Good Judgment Comes with Experience. Experience Comes from Bad Judgment"

--
Andrzej A. Filip