Re: kompresja danych - Grupy dyskusyjne w eGospodarka.pl

eGospodarka.pl › Grupy › pl.comp.programming › kompresja danych › Re: kompresja danych

Path: news-archive.icm.edu.pl!news.gazeta.pl!newsfeed.pionier.net.pl!news.glorb.com!p
ostnews.google.com!l9g2000yqi.googlegroups.com!not-for-mail
From: Mariusz Marszałkowski <m...@g...com>
Newsgroups: pl.comp.programming
Subject: Re: kompresja danych
Date: Sun, 18 Oct 2009 10:11:51 -0700 (PDT)
Organization: http://groups.google.com
Lines: 28
Message-ID: <6...@l...googlegroups.com>
References: <4...@c...googlegroups.com>
<2...@p...null.onet.pl.invalid>
<8...@s...googlegroups.com>
<hbf40b$358$1@news.onet.pl>
NNTP-Posting-Host: 89.229.16.190
Mime-Version: 1.0
Content-Type: text/plain; charset=ISO-8859-2
Content-Transfer-Encoding: quoted-printable
X-Trace: posting.google.com 1255885912 5101 127.0.0.1 (18 Oct 2009 17:11:52 GMT)
X-Complaints-To: g...@g...com
NNTP-Posting-Date: Sun, 18 Oct 2009 17:11:52 +0000 (UTC)
Complaints-To: g...@g...com
Injection-Info: l9g2000yqi.googlegroups.com; posting-host=89.229.16.190;
posting-account=xjvq9QoAAAATMPC2X3btlHd_LkaJo_rj
User-Agent: G2/1.0
X-HTTP-UserAgent: Mozilla/5.0 (Windows; U; Windows NT 5.2; pl; rv:1.9.1.3)
Gecko/20090824 Firefox/3.5.3,gzip(gfe),gzip(gfe)
Xref: news-archive.icm.edu.pl pl.comp.programming:183837
[ ukryj nagłówki ]
On 17 Paź, 16:08, "Wiktor S." <w...@M...fm> wrote:
> > Np. jest 30 kolumn i 20mln wierszy. Dane często wyglądają tak,
> > jakby sąsiadujące wiersze miały z dużym prawdopodobieństwem
> > te sam wartości w kolumnach. Np. w kolumnie 3-ciej od wiersza
> > 100 do 200 są same jedynki, w kolumnie 2 od wiersza 50 do 150
> > są same zera. Wszystkie dane to mały podzbiór liczb całkowitych,
> > powiedzmy o mocy kilkuset elementów.
>
> A gdybyś transponował całą tablicę, otrzymałbyś długie ciągi identycznych
> znaków. To mogłoby zwiększyć współczynnik kompresji, zwłaszcza gdy czas nie
> gra roli.

Czas kompresji nie gra roli, czas dekompresji gra rolę. Podczas
dekompresji
będę musiał mieć sekwencyjny dostęp do rekordów, czyli wszystkie
rekordy
będę musiał przeglądać w każdej iteracji, ale kolejność w jakiej je
przejrzę
nie ma znaczenia.

Pozdrawiam i dziękuję