Hey

Mam plik z danymi. Plik jest duzy i nie miesci sie w pamieci ram.
Na danych wykonuje wielokrotnie podobne obliczenia i plik w
niezmienionej postaci jest wiele razy odczytywany. Za kazdym razem
odczytywany jest caly, sekwencyjnie, od poczatku do konca. Dane
w pliku to rekrody o stalym rozmairze.

Moje pytanie: co mozna zrobic, zeby proces przyspieszyc? Wykonywanie
obliczenia na rekordach sa bardzo proste i absolutnie nie sa waskim
gardlem.

Mysle nad kilkoma usprawnieniami.
1) Mozna wczytac do ram tyle ile sie zmiesci, a reszte czytac bezposrednio z
pliku. Ale od razu mam obawe, czy system operacyjny nie robi tego lepiej?
Lepiej wylaczyc cache systemu i zrobic wlasny czy lepiej polegac na
systemie?
2) Kompresja danych, ale jaka? Dane bardzo dobrze sie kompresuja, nawet
30krotnie. Ale czy to sie oplaci? Odczytow bedzie mniej, ale trzeba
stracic czas na dekompresje.
3) Czy warto kupic szybki dysk np. taki oparty o pamiec flash?
4) A moze warto kupic np. 10 zwyklych dyskow i aplikacje uruchomic w
10-ciu watkach?

Z gory dziekuje za wszelkie zainteresowanie.
Pozdrawiam
P.S.
Jakby kogos interesowalo czym sa dane w tym pliku, to sa logi z rozgrywek
szachowych.






--
Wysłano z serwisu Usenet w portalu Gazeta.pl -> http://www.gazeta.pl/usenet/