-
Data: 2011-12-05 16:38:11
Temat: Wydajnosc operacji dyskowych
Od: " M.M." <m...@g...pl> szukaj wiadomości tego autora
[ pokaż wszystkie nagłówki ]Hey
Mam plik z danymi. Plik jest duzy i nie miesci sie w pamieci ram.
Na danych wykonuje wielokrotnie podobne obliczenia i plik w
niezmienionej postaci jest wiele razy odczytywany. Za kazdym razem
odczytywany jest caly, sekwencyjnie, od poczatku do konca. Dane
w pliku to rekrody o stalym rozmairze.
Moje pytanie: co mozna zrobic, zeby proces przyspieszyc? Wykonywanie
obliczenia na rekordach sa bardzo proste i absolutnie nie sa waskim
gardlem.
Mysle nad kilkoma usprawnieniami.
1) Mozna wczytac do ram tyle ile sie zmiesci, a reszte czytac bezposrednio z
pliku. Ale od razu mam obawe, czy system operacyjny nie robi tego lepiej?
Lepiej wylaczyc cache systemu i zrobic wlasny czy lepiej polegac na
systemie?
2) Kompresja danych, ale jaka? Dane bardzo dobrze sie kompresuja, nawet
30krotnie. Ale czy to sie oplaci? Odczytow bedzie mniej, ale trzeba
stracic czas na dekompresje.
3) Czy warto kupic szybki dysk np. taki oparty o pamiec flash?
4) A moze warto kupic np. 10 zwyklych dyskow i aplikacje uruchomic w
10-ciu watkach?
Z gory dziekuje za wszelkie zainteresowanie.
Pozdrawiam
P.S.
Jakby kogos interesowalo czym sa dane w tym pliku, to sa logi z rozgrywek
szachowych.
--
Wysłano z serwisu Usenet w portalu Gazeta.pl -> http://www.gazeta.pl/usenet/
Następne wpisy z tego wątku
- 05.12.11 16:42 Stachu 'Dozzie' K.
- 05.12.11 17:01 M.M.
- 05.12.11 17:03 bartek szurgot
- 05.12.11 17:11 Karol Y
- 05.12.11 17:25 Jordan Szubert
- 05.12.11 18:02 M.M.
- 05.12.11 18:52 bartek szurgot
- 05.12.11 19:15 Edek
- 05.12.11 19:42 bartek szurgot
- 05.12.11 21:55 Karol Y
Najnowsze wątki z tej grupy
- Do czego nadaje się QDockWidget z bibl. Qt?
- Bibl. Qt jest sztucznie ograniczona - jest nieprzydatna do celów komercyjnych
- Co sciaga kretynow
- AEiC 2024 - Ada-Europe conference - Deadlines Approaching
- Jakie są dobre zasady programowania programów opartych na wtyczkach?
- sprawdzanie słów kluczowych dot. zła
- Re: W czym sie teraz pisze programy??
- Re: (PDF) Surgical Pathology of Non-neoplastic Gastrointestinal Diseases by Lizhi Zhang
- CfC 28th Ada-Europe Int. Conf. Reliable Software Technologies
- Młodzi programiści i tajna policja
- Ada 2022 Language Reference Manual to be Published by Springer
- Press Release - AEiC 2023, Ada-Europe Reliable Softw. Technol.
- Ada-Europe - AEiC 2023 early registration deadline approaching
- Ada-Europe Int.Conf. Reliable Software Technologies, AEiC 2023
- Ile cykli zajmuje mnożenie liczb 64-bitowych?
Najnowsze wątki
- 2024-05-26 O co chodzi?
- 2024-05-26 PJ autobus-tramwaj
- 2024-05-26 Renault Trafic i lampka z czerwonym STOP
- 2024-05-26 cena pięciocyfrowa
- 2024-05-26 Re: Jak dobra KE "okrada" złą Rosję "dla Ukrainy"
- 2024-05-25 supercap
- 2024-05-25 Sulzbach => Technischer Rollouter (d/m/w) <=
- 2024-05-25 Warszawa => Senior Account Manager <=
- 2024-05-25 Warszawa => Mid PHP Developer (Laravel) <=
- 2024-05-25 Warszawa => Mid PHP Developer (Laravel) <=
- 2024-05-25 Warszawa => Interactive/Experience Designer <=
- 2024-05-25 Warszawa => Key Account Manager <=
- 2024-05-25 Warszawa => SAP WM Consultant / Execution <=
- 2024-05-25 Warszawa => Key Account Manager <=
- 2024-05-25 Re: znów ten wrocław