Dnia 05-12-2011 o 17:38:11 M.M. <m...@g...pl> napisał(a):

> Hey
>
> Mam plik z danymi. Plik jest duzy i nie miesci sie w pamieci ram.
> Na danych wykonuje wielokrotnie podobne obliczenia i plik w
> niezmienionej postaci jest wiele razy odczytywany. Za kazdym razem
> odczytywany jest caly, sekwencyjnie, od poczatku do konca. Dane
> w pliku to rekrody o stalym rozmairze.
>
> Moje pytanie: co mozna zrobic, zeby proces przyspieszyc? Wykonywanie
> obliczenia na rekordach sa bardzo proste i absolutnie nie sa waskim
> gardlem.
>
> Mysle nad kilkoma usprawnieniami.
> 1) Mozna wczytac do ram tyle ile sie zmiesci, a reszte czytac
> bezposrednio z
> pliku. Ale od razu mam obawe, czy system operacyjny nie robi tego
> lepiej?
> Lepiej wylaczyc cache systemu i zrobic wlasny czy lepiej polegac na
> systemie?
> 2) Kompresja danych, ale jaka? Dane bardzo dobrze sie kompresuja, nawet
> 30krotnie. Ale czy to sie oplaci? Odczytow bedzie mniej, ale trzeba
> stracic czas na dekompresje.
> 3) Czy warto kupic szybki dysk np. taki oparty o pamiec flash?
> 4) A moze warto kupic np. 10 zwyklych dyskow i aplikacje uruchomic w
> 10-ciu watkach?
>
> Z gory dziekuje za wszelkie zainteresowanie.
> Pozdrawiam
> P.S.
> Jakby kogos interesowalo czym sa dane w tym pliku, to sa logi z rozgrywek
> szachowych.

może warto by rozważyć zamiast:

for item in file:
f1(item)
for item in file:
f2(item)
for item in file:
f3(item)

takie coś:

for item in file:
f1(item)
f2(item)
f3(item)

?
--
Jordan Szubert