On 13.05.2013 13:51, M.M. wrote:
> W dniu poniedziałek, 13 maja 2013 13:24:32 UTC+2 użytkownik Michal Kleczek napisał:
>
>> Tak, ale nie chce mi sie, bo to oczywista oczywistosc dla kogokolwiek,
>> kto ma chocby blade pojecie co to jest i jak dziala system plikow oraz
>> czym "plik" tak naprawde jest.
> Nie umiesz uzasadnic.
>
>
>> Jasne. I dlatego wlasnie ktos wymysla struktury danych typu B-drzewa -
>> specjalizowane wlasnie w celu minimalizacji ilosci operacji we/wy.
> To uzasadnij jak b-drzewo umozliwia oczytanie np. 30 losowo rozrzuconych
> rekordow po dysku w sekwencyjny sposob.

W "bazie na literkę O" afaik jeżeli umieścisz bazę na osobnej partycji a
nie w pliku to:
- odczytuje adresy bloków do załadowania
- ustala sekwencję odczytu tak aby sekwencja seeków była najkrótsza
(czasami czyta się trochę danych sekwencyjnie tylko po to, żeby nie
marnować czasu na seek)
- ładuje rekordy do pamięci i sortuje wg zadanej sekwencji.

>
>> Przyklad z twoim plikiem CSV posortowanym po dacie. Zalozmy, ze zawiera
>> N rekordow. Pierwszy ma w kolumnie daty wartosc 2001-01-01. Ile potrzeba
>> odczytow, zeby znalezc rekordy z data 2011-02-23?
> Nie wiem, za malo danych podales. U mnie budowanie z normalizowanej
> bazy tego co jest w pliku csv trwa 10-30 sekund.
> Wyszukanie pliku csv
> na dysku i wczytanie trwa ulamek sekundy.

Co znaczy, że CSV jest w buforach. Skonfiguruj bazę danych tak aby
pracowała w trybie wyłączności i spróbuj ponownie. Do tego bazy się
specjalnie DEnormalizuje aby poprawić wydajność pewnych operacji.


>> Nie rozumiem pytania... Tak samo jak na jednym.
> Ja czytalem ze to jest niemozliwe i logika podpowaida to samo: ze bez
> dodatkowych zabiegow jest to niemozliwe. Pytam wiec jakie dodatkowe
> zabiegi stosuja silniki baz danych aby bylo mozliwe indeksowanie
> culstered po kilku polach.

http://www.dba-oracle.com/oracle_tip_hash_index_clus
ter_table.htm


>
>
>
>> Mozesz pokazac kod jednego i drugiego? W szczegolnosci strukture bazy i
>> zapytanie?
> Po co? Przeciez to oczywiste ze kazde zlaczenie trwa potencjalnie dluzej niz
> odczytanie gotowych danych z csv.

Jeżeli CSV jest mały i zbuforowany w pamięci to może. Jeżeli kilka
wartości się powtarza bardzo często to JOIN może być szybszy bo wykona
się w pamięci, nie trzeba będzie czytać tych samych danych wielokrotnie.

--
Pozdrawiam
Michoo