On 12/05/2011 05:38 PM, M.M. wrote:
> Hey
>
> Mam plik z danymi. Plik jest duzy i nie miesci sie w pamieci ram.
> Na danych wykonuje wielokrotnie podobne obliczenia i plik w
> niezmienionej postaci jest wiele razy odczytywany. Za kazdym razem
> odczytywany jest caly, sekwencyjnie, od poczatku do konca. Dane
> w pliku to rekrody o stalym rozmairze.
>
> Moje pytanie: co mozna zrobic, zeby proces przyspieszyc? Wykonywanie
> obliczenia na rekordach sa bardzo proste i absolutnie nie sa waskim
> gardlem.
>
> Mysle nad kilkoma usprawnieniami.
> 1) Mozna wczytac do ram tyle ile sie zmiesci, a reszte czytac bezposrednio z
> pliku. Ale od razu mam obawe, czy system operacyjny nie robi tego lepiej?
> Lepiej wylaczyc cache systemu i zrobic wlasny czy lepiej polegac na
> systemie?
> 2) Kompresja danych, ale jaka? Dane bardzo dobrze sie kompresuja, nawet
> 30krotnie. Ale czy to sie oplaci? Odczytow bedzie mniej, ale trzeba
> stracic czas na dekompresje.
> 3) Czy warto kupic szybki dysk np. taki oparty o pamiec flash?
> 4) A moze warto kupic np. 10 zwyklych dyskow i aplikacje uruchomic w
> 10-ciu watkach?
>
> Z gory dziekuje za wszelkie zainteresowanie.
> Pozdrawiam
> P.S.
> Jakby kogos interesowalo czym sa dane w tym pliku, to sa logi z rozgrywek
> szachowych.

hejka,

Twoim wąskim gardłem jest więc sekwencyjny odczyt z dysku. z sensowych
operacji programowych proponuję:
1) kompresję danych. CPU jest zdecydowanie szybsze niż dysk, więc się to
opłaca, szczególnie że w Twoim przypadku obliczenia są proste, więc
procesor się nudzi przez sporą część czasu.
2) osobny wątek czytający dane do bufora i osobny wątek liczący. nawet
jeśli liczenie jest szybkie, czemu w tym samym czasie nie czytać?
3) zgrupować obliczenia. jeśli się da, czytając plik wykonywać więcej
obliczeń jednocześnie, na tych samych blokach. oczywiście, czy tak się
da, zależy od użycia.
4) w nowszych jajkach jest wywołanie, mówiące jak duży będzie plik,
podczas tworzenia - niestety nie pamiętam teraz jak się tego używa. :/
5) upewnij się, że format pliku jest odpowiednio kompaktowy. w którejś
książce Suttera, o C++, był zaproponowany format, gdzie pojedynczy ruch
oznaczał tylko kilka bitów (zmian względem poprzedniego stanu szachownicy).

ponieważ odczyt jest sekewncyjny (na poziomie fs - fizycznie bywa
różnie) dysk SSD może nie dać dużych przyśpieszeń (kwestia do
zmierzenia), za to jest dużo droższy. być może sensowniej będzie kupić w
tej samej cenie kilka SATA i połączyć je w RAID1 (mirror)? zależnie od
możliwości konkretnej implementacji RAIDa może to przyspieszyć czytanie
z jednego wątku, lub wymagać użycia wielu, by w pełni wykorzystać
sprzęt (a przyspieszenie idzie tu praktycznie liniowo z liczbą dysków).

pilnuj też, by dyski nie były przepełnione - kiedy kończy się miejsce na
dysku, zawodzą pewne heurystyki rozmieszania danych fs-ów i dane są
mocniej rozproszone do nośniku, co dramatycznie pogarsza odczyt (częste
ruchy głowicy).

oczywiście jeśli to bardzo krytyczne, możesz zrezygnować z systemu
plików i zapisać plik bezpośrednio na urządzeniu blokowym - fs też ma
swoje narzuty.

tyle na szybko. potestuj, pomierz i zrób wykresy z porównaniem różnych
podejść. taka analiza graficzna przeważnie uwypukla najlepsze
rozwiązania. :)

--
pozdrawiam serdecznie / best regards,
Bartek 'BaSz' Szurgot

http://www.baszerr.org