-
Data: 2021-08-20 20:45:22
Temat: Re: Jak zrobić test za pomocą PractRand?
Od: "o...@g...com" <o...@g...com> szukaj wiadomości tego autora
[ pokaż wszystkie nagłówki ]> Jeśli dane są w pliku binarnym to tak:
> cat dane_binarne.bin | ./PractRand stdin [tu wpisz opcje PractRand]
Jakie są te opcje PractRand? Ja uruchamiam to w ten sposób:
cat plik.data | ./RNG_test stdin
Niestety zwiększenie rozmiaru pliku do 230 GB nie pomogło, a więcej nie zmieści mi
się na dysku. Wciąż dziwią mnie te oblane testy, podczas, gdy wszystkie testy
Dieharder ten generator zdawał. Albo PractRand jest o tyle bardziej wymagający, albo
nadal coś jest nie tak.
> > Wydaje mi się, że prędzej, niż ogarnę C++ zrobię odpowiedni plik.
> Można ,ale dobre testowanie wymaga dużo danych. Osobiście testowałem generatory
minimum
> godzinę, maksimum (o ile pamiętam) dwa tygodnie na jednym wątku. Przez ten czas,
szczególnie
> przez dwa tygodnie, generator jest w stanie wygenerować sporo liczb i program
testowy sporo skonsumować.
> Liczby z dwóch tygodni nie wiem czy zmieszczą się na dysku.
Na pewno się nie zmieszczą. Już osiągnąłem limit. Z jakichś powodów zresztą bardzo
szybko udało mi się to wygenerować i zapisać do pliku (godzina z hakiem), tak jakby
liczby w formacie binarnym zapisywały się szybciej. 50 GB liczb 32-bitowych w
formacie dziesiętnym zapisywało mi się kilka godzin.
Ile GB w takim przetestowałeś, skoro robiłeś testy nawet 2 tygodnie?
> > Przepisanie kodu z Pythona do C++ musiałbym raczej komuś zlecić.
> Co tam konkretnie jest do napisania? Może coś podobnego jest to gotowe pod linkami
które podałem?
Przykładowy program:
https://pastebin.com/K164URZQ
Liczby 128-bitowe są tam ładowanie po prostu do listy allstream, ale oczywiście można
to zaaranżować inaczej.
> > Pytanie, czy będę w stanie wygenerować odpowiedni plik w odpowiednim czasie (bo
pomimo, że generatory, które testuję są
> > jednymi z najszybszych na świecie, co do zasady są podobne do PCG generators, to
Python nie dość, że bywa 50-100 razy
> > wolniejszy niż C++, to jeszcze do tego sam zapis do pliku trwa długo i jak szybki
nie byłby generator - nie da się tego procesu
> > przyspieszyć). Ile PractRand potrzebuje danych?
> Zapis całego dużego dysku to np. jedna doba, ale zależy jaki szybki/duży dysk, może
być godzina, może być tydzień. Trudno
> bez testów powiedzieć czy wolniejszy będzie zapis czy powolne generowanie
najszybszym generatorem na świecie. PractRand
> tym lepiej testuje im więcej danych otrzyma.
Ja zapisałem cały dysk w godzinę z hakiem.
> > żeby generator nie oblewał testów (gdy danych było za mało plik był zawijany i do
testów był brane w kółko te same liczby, do
> > powodowało oblewanie testów). A i tak zawijał niektóre próbki, tzw. " rewounds".
> Temat jest trudniejszy, może generator na małych zapętlonych danych przechodzić
test, na na długich oblewać.
W każdym razie wszystkie testy przy odpowiedniej ilości danych zdawał. Wystarczyło 50
GB danych, zapisanych w formacie dziesiętnym jako liczby 32-bitowe.
> Chyba najlepiej odtworzyć te same dane losowe co były użyte w programie, aby mieć
pewność że program
> pracował na losowych danych które przechodzą testy statystyczne.
Używam tych samych danych. A mimo to w PractRand pełno testów jest niezdanych.
> Zadziała, ale jeśli tester nie wspomaga plików tekstowych, to trzeba samemu napisać
program który zamieni dane tekstowe na binarne.
> Potem dam przykładowy kod w C++, może dziś wieczorem, to kilka linijek.
Wygenerowałem plik .data. Zapisałem tam liczby w formacie binarnym. Wszystko wskazuje
na to, że to powinno działać. Może po prostu generator nie zdaje testów. Z drugiej
jednak strony, jeśli Ty piszesz, że testowałeś generator nawet kilka dni, to jest nic
w porównaniu z danymi, które ja dostarczyłem do testów, wygenerowanymi zaledwie w
godzinę. Może po prostu jest ich za mało. Ale, czy 230 GB to za mało?
> Teraz nie mogę, potem dam kod program który przekonwertuje plik tekstowy do
binarnego. Proszę, pokaż ( i jeśli trzeba to opisz )
> jak wygląda oryginalny plik tekstowy.
Jeżeli zapisuję dane to pliku .txt, to wygląda to tak:
"010101010101000101111010101010101110100101111101011
0111110...010101010101010100101010101010010101010101
00101010101011111"
Po prostu pseudolosowy ciąg zer i jedynek, nic więcej.
Następne wpisy z tego wątku
- 20.08.21 22:32 M.M.
- 20.08.21 23:56 o...@g...com
- 21.08.21 00:11 M.M.
- 21.08.21 00:20 o...@g...com
- 21.08.21 00:27 o...@g...com
- 21.08.21 00:49 M.M.
- 21.08.21 01:55 o...@g...com
- 21.08.21 11:40 M.M.
- 21.08.21 13:27 M.M.
- 21.08.21 16:53 o...@g...com
- 21.08.21 17:18 M.M.
- 21.08.21 17:51 o...@g...com
- 21.08.21 18:30 M.M.
- 21.08.21 19:16 o...@g...com
- 21.08.21 21:24 o...@g...com
Najnowsze wątki z tej grupy
- Co sciaga kretynow
- AEiC 2024 - Ada-Europe conference - Deadlines Approaching
- Jakie są dobre zasady programowania programów opartych na wtyczkach?
- sprawdzanie słów kluczowych dot. zła
- Re: W czym sie teraz pisze programy??
- Re: (PDF) Surgical Pathology of Non-neoplastic Gastrointestinal Diseases by Lizhi Zhang
- CfC 28th Ada-Europe Int. Conf. Reliable Software Technologies
- Młodzi programiści i tajna policja
- Ada 2022 Language Reference Manual to be Published by Springer
- Press Release - AEiC 2023, Ada-Europe Reliable Softw. Technol.
- Ada-Europe - AEiC 2023 early registration deadline approaching
- Ada-Europe Int.Conf. Reliable Software Technologies, AEiC 2023
- Ile cykli zajmuje mnożenie liczb 64-bitowych?
- Ideologia Polskiego Programisty wer.3
- Ada-Europe Conference - 6 March Extended Final Deadline
Najnowsze wątki
- 2024-04-19 nakupcie sobie Borygo
- 2024-04-19 Lejek + zdalne zarządzanie, coś jak telemetria, jaka oferta.
- 2024-04-19 Warszawa => Senior Account Manager <=
- 2024-04-19 Katowice => Technical Leader (Java Background) <=
- 2024-04-19 Wrocław => Dyrektor Sprzedaży (branża usług/produktów IT) <=
- 2024-04-19 Białystok => Full Stack web developer (obszar .Net Core, Angular6+) <
- 2024-04-19 Samochód w ogniu
- 2024-04-19 Warszawa => Inżynier DevOps (projekt JP) <=
- 2024-04-19 Gdańsk => Spedytor Międzynarodowy <=
- 2024-04-19 Kraków => Java Developer <=
- 2024-04-19 Wrocław => Lider Serwisu/Programista PLC z językiem niemieckim <=
- 2024-04-19 uczcie się Anglicy
- 2024-04-19 Co sciaga kretynow
- 2024-04-19 Uziom
- 2024-04-18 Prokurator Wrzosek jest już w porządku [Bodnatura po-praworządności]