On 2011-12-05, M.M. <m...@g...pl> wrote:
> Mam plik z danymi. Plik jest duzy i nie miesci sie w pamieci ram.
> Na danych wykonuje wielokrotnie podobne obliczenia i plik w
> niezmienionej postaci jest wiele razy odczytywany. Za kazdym razem
> odczytywany jest caly, sekwencyjnie, od poczatku do konca. Dane
> w pliku to rekrody o stalym rozmairze.
>
> Moje pytanie: co mozna zrobic, zeby proces przyspieszyc? Wykonywanie
> obliczenia na rekordach sa bardzo proste i absolutnie nie sa waskim
> gardlem.

Wykonywać po kilka obliczeń na rekordzie naraz.

> Mysle nad kilkoma usprawnieniami.
> 1) Mozna wczytac do ram tyle ile sie zmiesci, a reszte czytac bezposrednio z
> pliku. Ale od razu mam obawe, czy system operacyjny nie robi tego lepiej?
> Lepiej wylaczyc cache systemu i zrobic wlasny czy lepiej polegac na
> systemie?
> 2) Kompresja danych, ale jaka? Dane bardzo dobrze sie kompresuja, nawet
> 30krotnie. Ale czy to sie oplaci? Odczytow bedzie mniej, ale trzeba
> stracic czas na dekompresje.
> 3) Czy warto kupic szybki dysk np. taki oparty o pamiec flash?
> 4) A moze warto kupic np. 10 zwyklych dyskow i aplikacje uruchomic w
> 10-ciu watkach?

--
Secunia non olet.
Stanislaw Klekot