Re: testowanie generatorów liczb losowych (kontynuacja)

eGospodarka.pl › Grupy › pl.comp.programming › testowanie generatorów liczb losowych (kontynuacja) › Re: testowanie generatorów liczb losowych (kontynuacja)

X-Received: by 10.157.54.141 with SMTP id h13mr2361295otc.20.1475879141038; Fri, 07
Oct 2016 15:25:41 -0700 (PDT)
X-Received: by 10.157.54.141 with SMTP id h13mr2361295otc.20.1475879141038; Fri, 07
Oct 2016 15:25:41 -0700 (PDT)
Path: news-archive.icm.edu.pl!news.icm.edu.pl!fu-berlin.de!g45no700422qte.1!news-out.
google.com!w143ni3081itb.0!nntp.google.com!o19no1046707ito.0!postnews.google.co
m!glegroupsg2000goo.googlegroups.com!not-for-mail
Newsgroups: pl.comp.programming
Date: Fri, 7 Oct 2016 15:25:40 -0700 (PDT)
In-Reply-To: <nt8nnm$56f$1@node2.news.atman.pl>
Complaints-To: g...@g...com
Injection-Info: glegroupsg2000goo.googlegroups.com; posting-host=77.254.35.87;
posting-account=xjvq9QoAAAATMPC2X3btlHd_LkaJo_rj
NNTP-Posting-Host: 77.254.35.87
References: <7...@g...com>
<nt6oi5$1q7$1@node1.news.atman.pl>
<b...@g...com>
<nt6pts$339$1@node1.news.atman.pl>
<f...@g...com>
<nt8691$ihf$1@node1.news.atman.pl>
<3...@g...com>
<1...@g...com>
<0...@g...com>
<b...@g...com>
<9...@g...com>
<3...@g...com>
<0...@g...com>
<nt8nnm$56f$1@node2.news.atman.pl>
User-Agent: G2/1.0
MIME-Version: 1.0
Message-ID: <b...@g...com>
Subject: Re: testowanie generatorów liczb losowych (kontynuacja)
From: "M.M." <m...@g...com>
Injection-Date: Fri, 07 Oct 2016 22:25:41 +0000
Content-Type: text/plain; charset=UTF-8
Content-Transfer-Encoding: base64
Xref: news-archive.icm.edu.pl pl.comp.programming:209898
[ ukryj nagłówki ]
On Friday, October 7, 2016 at 7:58:16 PM UTC+2, bartekltg wrote:
> On 07.10.2016 19:40, M.M. wrote:
> > On Friday, October 7, 2016 at 6:02:59 PM UTC+2, bartekltg wrote:
> >> Nie. Podałem Ci kontrprzykład.
> >> Ciagów bardzo nielosowych, które dają znacznie lepsze oszacowania MC.
> > Ok, nie ciągnijmy, bo za dużo obwarowań. Generalnie wiadomo, że ciąg
> > doskonale równomierny może dać lepsze oszacowanie całki niż ciąg
> > naprawdę losowy - nie o to chciałem się kłócić.
> >
> >
> > Popatrzmy lepiej na wpływ parametru k w dieharder.
> >
> >
> > Upewnijmy się, że mamy ciągle ten sam seed i ten sam ciąg liczb
> > pseudo losowych:
> >
> > x@x:~$ time dieharder -s 1 -S 1234 -d 0 -g 15 -m 1 -k 1
> > #===================================================
==========================#
> > # dieharder version 3.31.1 Copyright 2003 Robert G. Brown #
> > #===================================================
==========================#
> > rng_name |rands/second|
> > mt19937_1998| 7.99e+07 |
> > #===================================================
==========================#
> > test_name |ntup| tsamples |psamples| p-value |Assessment| Seed
> > #===================================================
==========================#
> > diehard_birthdays| 0| 100| 100|0.92170613| PASSED | 1234
> >
> > real 0m1.822s
> > user 0m1.817s
> > sys 0m0.004s
> > x@x:~$ time dieharder -s 1 -S 1234 -d 0 -g 15 -m 1 -k 0
> > #===================================================
==========================#
> > # dieharder version 3.31.1 Copyright 2003 Robert G. Brown #
> > #===================================================
==========================#
> > rng_name |rands/second|
> > mt19937_1998| 8.08e+07 |
> > #===================================================
==========================#
> > test_name |ntup| tsamples |psamples| p-value |Assessment| Seed
> > #===================================================
==========================#
> > diehard_birthdays| 0| 100| 100|0.92170613| PASSED | 1234
> > real 0m1.817s
> > user 0m1.808s
> > sys 0m0.008s
> >
> > Wynik ten sam z dokładnością do 8 miejsc po przecinku, więc ciąg ten sam.
> >
> >
> >
> > Zwiększamy m=100 (10tys testów)
> >
> > x@x:~$ time dieharder -s 1 -S 1234 -d 0 -g 15 -m 100 -k 0
> > #===================================================
==========================#
> > # dieharder version 3.31.1 Copyright 2003 Robert G. Brown #
> > #===================================================
==========================#
> > rng_name |rands/second|
> > mt19937_1998| 8.40e+07 |
> > #===================================================
==========================#
> > test_name |ntup| tsamples |psamples| p-value |Assessment| Seed
> > #===================================================
==========================#
> > diehard_birthdays| 0| 100| 10000|0.01512520| PASSED | 1234
> >
> > real 3m0.888s
> > user 3m0.475s
> > sys 0m0.436s
> >
> >
> > x@x:~$
> > x@x:~$ time dieharder -s 1 -S 1234 -d 0 -g 15 -m 100 -k 0
> > #===================================================
==========================#
> > # dieharder version 3.31.1 Copyright 2003 Robert G. Brown #
> > #===================================================
==========================#
> > rng_name |rands/second|
> > mt19937_1998| 8.44e+07 |
> > #===================================================
==========================#
> > test_name |ntup| tsamples |psamples| p-value |Assessment| Seed
> > #===================================================
==========================#
> > diehard_birthdays| 0| 100| 10000|0.01512520| PASSED | 1234
> >
> > real 3m6.036s
> > user 3m5.858s
> > sys 0m0.104s
> >
> > Znowu wynik ten sam, więc możemy być pewni że ciąg ten sam.
> >
> >
> > Zmieniam k=1
> >
> >
> > x@x:~$ time dieharder -s 1 -S 1234 -d 0 -g 15 -m 100 -k 1
> > #===================================================
==========================#
> > # dieharder version 3.31.1 Copyright 2003 Robert G. Brown #
> > #===================================================
==========================#
> > rng_name |rands/second|
> > mt19937_1998| 8.36e+07 |
> > #===================================================
==========================#
> > test_name |ntup| tsamples |psamples| p-value |Assessment| Seed
> > #===================================================
==========================#
> > diehard_birthdays| 0| 100| 10000|0.01514407| PASSED | 1234
> >
> > real 3m2.390s
> > user 3m2.357s
> > sys 0m0.052s
> >
> > Widać malą różnicę w wyniku.
> >
> > Dajemy k=2
> >
> >
> > x@x:~$ time dieharder -s 1 -S 1234 -d 0 -g 15 -m 100 -k 2
> > #===================================================
==========================#
> > # dieharder version 3.31.1 Copyright 2003 Robert G. Brown #
> > #===================================================
==========================#
> > rng_name |rands/second|
> > mt19937_1998| 8.43e+07 |
> > #===================================================
==========================#
> > test_name |ntup| tsamples |psamples| p-value |Assessment| Seed
> > #===================================================
==========================#
> > diehard_birthdays| 0| 100| 10000|0.01514407| PASSED | 1234
> >
> > real 3m5.804s
> > user 3m5.475s
> > sys 0m0.315s
> >
> >
> > Wynik taki sam jak dla k=1
> >
> > Teraz k=3
> > x@x:~$ time dieharder -s 1 -S 1234 -d 0 -g 15 -m 100 -k 3
> > #===================================================
==========================#
> > # dieharder version 3.31.1 Copyright 2003 Robert G. Brown #
> > #===================================================
==========================#
> > rng_name |rands/second|
> > mt19937_1998| 6.64e+07 |
> > #===================================================
==========================#
> > test_name |ntup| tsamples |psamples| p-value |Assessment| Seed
> > #===================================================
==========================#
> > diehard_birthdays| 0| 100| 10000|0.00283496| WEAK | 1234
> >
> > real 3m16.142s
> > user 3m15.666s
> > sys 0m0.336s
> >
> > Upssss wynik zupełnie inny.
> >
> >
> > teraz k=4
> > x@x:~$ time dieharder -s 1 -S 1234 -d 0 -g 15 -m 100 -k 4
> > #===================================================
==========================#
> > # dieharder version 3.31.1 Copyright 2003 Robert G. Brown #
> > #===================================================
==========================#
> > rng_name |rands/second|
> > mt19937_1998| 8.05e+07 |
> > #===================================================
==========================#
> > test_name |ntup| tsamples |psamples| p-value |Assessment| Seed
> > #===================================================
==========================#
> > diehard_birthdays| 0| 100| 10000|0.00283496| WEAK | 1234
> >
> > real 3m12.022s
> > user 3m11.777s
> > sys 0m0.137s
> >
> > To samo co dla k=3
> >
> > Różnic w czasie wykonania dużych nie ma. Mój wniosek: testy mogą być
> > liczone na precyzji jaką oferuje sprzętowo procesor, ale wzorek na
> > chi-kwadrat powinien być liczony na bignumie. Jeśli wersja szybka
> > pada już dla m=100, to wersja dokładna pewnie też padnie dla większych
> > wartości m.
>
> Nie, wersja -k 2 jest stabilna numerycznie.
> Tak twierdzi dokumentacja.
> A nawet więcewj, wprost mówią, że wynik różni się od dokładnego
> tylko o precyzje numeryczną. cyli jaskby uwarunkowanie było 1.
>
>
> @Wersja szybka:
> 0 is fast but slightly sloppy for psamples > 4999 (default).
> A Ty masz 10 000.
>
> Na -k 3 szkoda procesora.
> 3 is kuiper ks, fast, quite inaccurate for small samples, deprecated.
>
> pzdr
> bartekltg

Jeśli testy są dobrze zaimplementowane i jeśli dla k=2 mamy dokładność
taką ile cyfr ma typ procesora, to MT nie przechodzi testu dnia urodzin -
przynajmniej dla zarodka=1234. Mamy tylko dwie tysięczne procenta że
liczby pochodziły z generatora równomiernego:

time dieharder -s 1 -S 1234 -d 0 -g 15 -m 1000 -k 2
#===================================================
==========================#
# dieharder version 3.31.1 Copyright 2003 Robert G. Brown #
#===================================================
==========================#
rng_name |rands/second|
mt19937_1998| 1.17e+07 |
#===================================================
==========================#
test_name |ntup| tsamples |psamples| p-value |Assessment| Seed
#===================================================
==========================#
diehard_birthdays| 0| 100| 100000|0.00002404| WEAK | 1234

real 45m32.815s
user 45m26.558s
sys 0m4.484s