On 17 Paź, 20:34, Wojciech Muła
<w...@p...null.onet.pl.invalid> wrote:
> Mariusz Marszałkowski <m...@g...com> wrote:
> > Są jakieś specjalne algorytmy do kompresji tabel danych, w których
> > jest stała długość wiersza, a kolejność wierszy nie ma znaczenia?
>
> > Oznacza to, że kompresor może dowolnie zmieniać kolejność
> > wierszy i podczas dekompresji nie musi odtworzyć pierwotenj
> > kolejności.
>
> Nie słyszałem o niczym takim. A co masz w tych wierszach?
> Te wiersze się powtarzają?

Np. jest 30 kolumn i 20mln wierszy. Dane często wyglądają tak,
jakby sąsiadujące wiersze miały z dużym prawdopodobieństwem
te sam wartości w kolumnach. Np. w kolumnie 3-ciej od wiersza
100 do 200 są same jedynki, w kolumnie 2 od wiersza 50 do 150
są same zera. Wszystkie dane to mały podzbiór liczb całkowitych,
powiedzmy o mocy kilkuset elementów.

Uważam że można do tego podejść na dwa sposoby:
1) Skompresować każdą kolumnę osobno, podejrzewam że prosta
metoda długości serii skompresuje niektóre kolumny 100 krotnie.
2) Jakoś specjalnie posortować wiersze, aby dane powtarzające się
były blisko siebie
3) Można połączyć obie metody, najpierw jakoś posortować wiersze,
a później sortować każdą kolumnę niezależnie.

Kompresja może trwać dowolnie długo, nawet całą dobę, ale dekompresja
musi być bardzo szybka, gdyż skompresowane dane trafią do pamięci
RAM i będą dekompresowane w każdej iteracji algorytmu.

Pozdrawiam serdecznie