On Fri, 29 May 2009 23:58:38 +0200, Krzysztof Halasa wrote:
>J.F. <j...@p...onet.pl> writes:
>>>Biorąc pod uwagę, że takie dane poddają się dobrze
>>>kompresji, to pewnie upakują się bez problemu i x10.
>>
>>Ale to dla archiwizacji, bo biezacy zapis sie kiepsko kompresuje ..
>
>Dlaczego? Tak samo dobrze, chyba ze "biezacy" oznacza dla nas okno
>o wielkosci np. jednej pozycji - wtedy tak.

Tylko ze dobrze sie kompresuja kolejne dane jednego klienta.
Miec otwartych 15 milionow procesow kompresora ?

>Tak czy owak zrobienie tego nie jest zadnym wielkim wyzwaniem, i nie
>byloby nawet kosztem zauwazalnym dla operatora (sam zbior danych).

Tak znowu calkiem za darmo by nie bylo. nawet 8 bajtow co minute
to jest jakies 2MB/s dla 15mln klientow.
I stosowna szafa z dyskami, i urzadzenie do archiwizacji, i lacza zeby
ten strumien danych splynal do centrali ..

I to pod warunkiem ze zamowimy stosownie optymalizowany software na
zamowienie, bo jak podejdziemy standardowo .. trzeba bazy danych ktora
umozliwia 15 mln zapisow na minute ..


J.

do góry

J.F. <j...@p...onet.pl> writes:

> Tylko ze dobrze sie kompresuja kolejne dane jednego klienta.
> Miec otwartych 15 milionow procesow kompresora ?

A to swoja droga, ciekawy problem. Mam wrazenie ze ktos odpalal
podobnej wielkosci ilosc watkow na Linuksie (do nieco innych
zastosowan). Na pojedynczej, zwyklej maszynce (jakies tam GB RAM itp.
oczywiscie, ale nic magicznego).

> Tak znowu calkiem za darmo by nie bylo. nawet 8 bajtow co minute
> to jest jakies 2MB/s dla 15mln klientow.

Przy takim zalozeniu to zaden problem. Cyfrowa TV to porownywalne
wielkosci i potrafia archiwizowac wszystko jak leci bez trudu.

170 GB/dobe? 60 dyskow po kilkaset zl (na rok)? Wystarczy podpiac to do
jednego zupelnie nieduzego serwerka (+ drugi, albo dwa takie same
w mirrorze, append-only wiec nawet nie trzeba archiwizowac), wszystkie
dane online nawet :-)

Takie cos to ja prawie moglbym sobie prywatnie w domu postawic, jakbym
mial potrzebe oczywiscie.
--
Krzysztof Halasa

do góry

On Sat, 30 May 2009 16:33:25 +0200, Krzysztof Halasa wrote:
>J.F. <j...@p...onet.pl> writes:
>> Tylko ze dobrze sie kompresuja kolejne dane jednego klienta.
>> Miec otwartych 15 milionow procesow kompresora ?
>
>A to swoja droga, ciekawy problem. Mam wrazenie ze ktos odpalal
>podobnej wielkosci ilosc watkow na Linuksie (do nieco innych
>zastosowan). Na pojedynczej, zwyklej maszynce (jakies tam GB RAM itp.
>oczywiscie, ale nic magicznego).

Na intelowej architekturze przydalo by sie co najmniej 4kB na watek,
lepiej 8. I juz nie jest latwo :-)

>> Tak znowu calkiem za darmo by nie bylo. nawet 8 bajtow co minute
>> to jest jakies 2MB/s dla 15mln klientow.
>170 GB/dobe? 60 dyskow po kilkaset zl (na rok)? Wystarczy podpiac to do
>jednego zupelnie nieduzego serwerka (+ drugi, albo dwa takie same
>w mirrorze, append-only wiec nawet nie trzeba archiwizowac), wszystkie
>dane online nawet :-)
>Takie cos to ja prawie moglbym sobie prywatnie w domu postawic, jakbym
>mial potrzebe oczywiscie.

60 dyskow naraz tak latwo nie podlaczysz ..

J.

do góry

J.F. <j...@p...onet.pl> writes:

> Na intelowej architekturze przydalo by sie co najmniej 4kB na watek,
> lepiej 8. I juz nie jest latwo :-)

Jasne. Ale do zrobienia, nawet na pojedynczej plycie np. Tyana.

Inna sprawa ze oczywiscie masywne pakowanie nie musi uzywac watkow
w taki sposob, mozna to zrobic pojedynczym watkiem (no, moze lepiej miec
ich kilka by wykorzystac wszystkie rdzenie). Z 1 watkiem na klienta to
bylby jednak ciekawy eksperyment.

> 60 dyskow naraz tak latwo nie podlaczysz ..

Przesada, 4 kontrolery 16-kanalowe SAS PCI-E x8 i mozna podpiac 64 dyski
SATA, nawet nie uzywajac portow SAS i SATA na plycie ani zadnych
ekspanderow itp.
60 dyskow mozna bylo bez wiekszego trudu podpiac przy rownoleglym SCSI.
Dyski SATA sa tansze, mniej sie grzeja, wieksze...

Bez przesady, to mozna zrobic naprawde amatorskimi metodami i wcale nie
musi to wtedy oznaczac wielkiego klastra.
--
Krzysztof Halasa

do góry

Dnia 30.05.2009 Krzysztof Halasa <k...@p...waw.pl> napisał:
> [...]
> 60 dyskow mozna bylo bez wiekszego trudu podpiac przy rownoleglym SCSI.

Którym? Możesz podać namiary do jakiejś dokumentacji/specyfikacji?

KAcper

do góry