Mariusz Marszałkowski <m...@g...com> wrote:

> > Nie słyszałem o niczym takim. A co masz w tych wierszach?
> > Te wiersze się powtarzają?
>
> Np. jest 30 kolumn i 20mln wierszy. Dane często wyglądają tak,
> jakby sąsiadujące wiersze miały z dużym prawdopodobieństwem
> te sam wartości w kolumnach. Np. w kolumnie 3-ciej od wiersza
> 100 do 200 są same jedynki, w kolumnie 2 od wiersza 50 do 150
> są same zera. Wszystkie dane to mały podzbiór liczb całkowitych,
> powiedzmy o mocy kilkuset elementów.

Jakbyś pokazał przykładowe kilka tysięcy wierszy, to można
by coś konkretnego doradzić. RLE pewnie coś da, tylko nie
wiadomo czy dla wszystkich kolumn tak samo. Może pomogłaby
jakaś transformacja danych na poziomie kolumn albo wierszy.

Pytanie takie: spróbowałeś z istniejącymi bibliotekami
do kompresji, jak gzip, libzip, lzo? Może się sprawdzą.

w.