Big Jack napisał:

>> Poza tym, jeśli chodzi o treści SMS-ów, to najczęściej są pisane w
>> jakimś ludzkim języku, więc przy zastosowaniu kompresji może wyjść
>> mniej niż 100 bajtów na SMS.
>
> To ja pozwolę sobie przypomnieć, że HDD mają jednostki alokacji i czy
> SMS będzie miał 1 bajt, 100, czy 1024, to na HDD zajmie nie mniej niż
> ta 1 jednostka alokacji.

Zrobiłem sobie w komputerze krótką notatkę. Po chwili nasunęły mi się
nowe spostrzeżenie -- nie mogę ich dopisać do poprzednich złotych myśli,
tylko muszę tworzyc nowy plik?!

To nie HDD mają jednostki alokacji, tylko systemy plików. Bazy danych
przeważnie trzymają wszystko w jednym pliku i stosują w nim własną
organizację zapisu.

--
Jarek

do góry

Jarosław Sokołowski <j...@l...waw.pl> wrote:
> Pan Tomasz Wójtowicz napisał:
>
>> Mało tego. Kodek głosowy GSM z trudem uzyskuje kompresję 1:5, bo musi
>> pracować na małych porcjach danych, ale na centrali mogą z powodzeniem
>> pakować rozmowę kodekiem VQF 1:18, co oznacza, że minuta rozmowy zajmie
>> jakieś 53 kilobajty. Jeśli polscy abonenci dziennie wydzwaniają np. 10
>> milionów minut no to 530 GB to nie jest dużo, jeśli chodzi o dane głosowe.
>
> Też sobie o tym samym od razu pomyślałem. Przy takim upakowaniu jednemu
> operatorowi do przechowania wszystkich rozmów jeden dysk wystarczy gdzieś
> na miesiąc. Ale i bez takich zabiegów pryzma z nośników gromadzących
> nasze gadulstwo nie wygląda jak egipska piramida.
>

To by się nazywało archiwizacją, a nie rejestracją ;-)
A archwizacja polega na tym, że aby coś znaleźć, archiwsta musi odstawić
kubek z herbatą, założyć kapcie, zejść do archiwum i zacząć szukać. Długo
szukać.
Jeśli takie nagrania miały by się komuś do czegoś przydać, to musiały by
być w formie przeszukiwalnej, najlepiej z dobrze zrobionym indeksem ;-)
Odnoszę wrażenie, że te wszystkie pryzmy bardziej koncentrują się na
robieniu indeksu, niż na magazynowaniu rozmów.

do góry

"$heikh el $hah" <x...@x...xx> wrote:

>> Musieliby mieć bardzo duże serwery.
>
> "Kto ma najwięcej serwerów na świecie?

Ani duże, ani najwięcej. Poza tym co to jest "duży serwer"? :-P

do góry

W wiadomości
news://news-archive.icm.edu.pl/slrnktidu8.c78.jaros@
falcon.lasek.waw.pl
*Jarosław Sokołowski* napisał(-a):

> To nie HDD mają jednostki alokacji, tylko systemy plików.

No jasne! I oczywiście dyski bez systemu plików istnieją, zazwyczaj u
dystrybutora, zanim trafią w miejsce, w którym mają pracować ;)

> Bazy danych
> przeważnie trzymają wszystko w jednym pliku i stosują w nim własną
> organizację zapisu.

Tutaj nie polemizuję, bo nie wiem jaka jest metoda archiwizacji SMS-ów i
czy w ogóle się je archiwizuje. Ale Ty pewnie wiesz lepiej.

--
Big Jack
////// GG: 660675
( o o)
--ooO-( )-Ooo-

do góry

Big Jack napisał:

>> To nie HDD mają jednostki alokacji, tylko systemy plików.
>
> No jasne! I oczywiście dyski bez systemu plików istnieją, zazwyczaj
> u dystrybutora, zanim trafią w miejsce, w którym mają pracować ;)

Ten co trafił od dystrybutora na swoje miejsce pracy w moim komputerze
nadal ma część (partycję) zorganizowaną bez systemu plików, gdzie dane
mają ciągłą strukturę liniową, w której nawet podział na sektory nie ma
żadnego znaczenia. To nie jest moja fanaberya, tak jest w bardzo wielu
dyskach i komputerach.

>> Bazy danych przeważnie trzymają wszystko w jednym pliku i stosują
>> w nim własną organizację zapisu.
>
> Tutaj nie polemizuję, bo nie wiem jaka jest metoda archiwizacji SMS-ów
> i czy w ogóle się je archiwizuje. Ale Ty pewnie wiesz lepiej.

Pewnie wiem lepiej -- przez długi zajmowałem się systemami telemetrycznymi,
które przesyłały dane jako SMS. Zadecydowałem, że wszystkie one będą
gromadzone w jednym pliku tekstowym, każdy w osobnej linijce wraz z
informacją o czasie otrzymania i o źródle informacji. To były małe systemy
(zwłaszcza w porównaniu z wielkością ruchu u operatora GSM), więc traktowanie
tego jak każdego innego pliku "log" było najrozsądniejszym rozwiązaniem.
Ale zapis każdego SMS w osobnym pliku? Doprawdy nie wiem, kto by mógł mieć
takie pomysły!

--
Jarek

do góry

Użytkownik "Big Jack" <a...@b...zz> napisał w wiadomości
news:krbghb$ff5$1@node1.news.atman.pl...
>> To nie HDD mają jednostki alokacji, tylko systemy plików.

Na dyskach są sektory, o wielkości zależnej, jak producent wydumał.

> No jasne! I oczywiście dyski bez systemu plików istnieją, zazwyczaj u
> dystrybutora, zanim trafią w miejsce, w którym mają pracować ;)

Dysku nie obchodzi zastosowany system plików. Dysk w istocie jest zbiorem
sektórów z zapisanymi danymi. A ich organizacją zajmuje się już nie dysk,
tylko zwykle system operacyjny.

>
>> Bazy danych
>> przeważnie trzymają wszystko w jednym pliku i stosują w nim własną
>> organizację zapisu.
>
> Tutaj nie polemizuję, bo nie wiem jaka jest metoda archiwizacji SMS-ów i
> czy w ogóle się je archiwizuje. Ale Ty pewnie wiesz lepiej.

TAR - kojarzysz? Najprostsze archiwum, bez kompresji, stosuje własne metody
organizacji swych danych, niezależnie od systemu operacyjnego. Zdarzyło mi
się, że musiałem ratować uszkodzone, godzinka guglania za strukturą i
ręcznie odzyskałem co trzeba. Ekonomii w nim tyle, co finansach publicznych,
ale dodatkowo potraktować kompresorem, zwykle GZIP, poza tym, NTFS ma
wbudowaną kompresję danych w locie, troszkę może powolną, ale bardzo pewną
(EXT2/3/4 ma przewidziane na nią miejsce, ale do dziś nie zostało to stricte
wbudowane). Więc spoko można oszczędzić miejsca mając do dyspozycji środki
spotykane na codzień.
SMS-y ZTCW archiwizuje się do roku. Powyżej tego op nie ma obowiązku
dostarczenia danych do śledztwa. Przynajmniej tak miało być.

--
Pod żadnym pozorem nie zezwalam na wysyłanie mi jakichkolwiek reklam,
ogłoszeń, mailingów, itd., ani nawet zapytań o możliwość ich wysyłki.
Nie przyjmuję ŻADNYCH tłumaczeń, że mój adres e-mail jest ogólnodostępny
i nie został ukryty. Wszelkie próby takich wysyłek potraktuję jako stalking.

do góry

Użytkownik "Jarosław Sokołowski" <j...@l...waw.pl> napisał w wiadomości
news:slrnktij09.d4b.jaros@falcon.lasek.waw.pl...
> Ten co trafił od dystrybutora na swoje miejsce pracy w moim komputerze
> nadal ma część (partycję) zorganizowaną bez systemu plików, gdzie dane
> mają ciągłą strukturę liniową, w której nawet podział na sektory nie ma
> żadnego znaczenia. To nie jest moja fanaberya, tak jest w bardzo wielu
> dyskach i komputerach.

Choćby linuxowy swap, czy (nie wiem, jak dzisiaj, bo pyszczy, że już tak nie
można odpalać) jądro Pingwina na dyskietce.

> Ale zapis każdego SMS w osobnym pliku? Doprawdy nie wiem, kto by mógł mieć
> takie pomysły!

Jeśli nie za dużo tego - to bym może i tak zrobił? Ekonomii zero, ale łatwo
wyszukać przy dobrej organizacji.
Jakby przyszło co do czego, to bym pomyślał nad sensownym zebraniem tego do
kupy.

--
Pod żadnym pozorem nie zezwalam na wysyłanie mi jakichkolwiek reklam,
ogłoszeń, mailingów, itd., ani nawet zapytań o możliwość ich wysyłki.
Nie przyjmuję ŻADNYCH tłumaczeń, że mój adres e-mail jest ogólnodostępny
i nie został ukryty. Wszelkie próby takich wysyłek potraktuję jako stalking.

do góry

Anerys napisał:

>> Ale zapis każdego SMS w osobnym pliku? Doprawdy nie wiem, kto by mógł
>> mieć takie pomysły!
>
> Jeśli nie za dużo tego - to bym może i tak zrobił? Ekonomii zero, ale
> łatwo wyszukać przy dobrej organizacji.

Ekonomiki zero -- ta uwaga odnosi się do całej organizacji przedsięwzięcia.
Trzeba za każdym razem utworzyć plik, a wcześniej wymyślić mu nazwę.
Organizacja wyszukiwania też nie jest prosta -- trzeba czytać kartalogi
żeby dostać nazwy plików, które mogą (choć nie muszą) być skojarzone
z metadanymi dotyczącymi SMS. Ale żeby poszukać coś w *treści* SMS-ów,
to już trzeba po kolei otwierać każdy plik i zaglądać mu do wnętrza.
Po prostu horror.

> Jakby przyszło co do czego, to bym pomyślał nad sensownym zebraniem tego
> do kupy.

Dostałem kiedyś dane zorganizowane w ten sposób, że tekstowe informacje były
w kilkudziesięciu tysiącach małych plików pogrupowanych w kilka poziomów
katalogów. Pierwsze co zrobiłem, to potraktowałem to wszystko wzmiankowanym
programem TAR (co się wkłada: TApe-ARchiver, czyli program do zamiany
struktry dysku na liniową reprezentację taśmy magnetycznej). Teksty nie
zmieniły swojej formy, każdy został tylko poprzedzony jednym wierszem
zawierającym dane o pliku i katalogu. I już dało się w tej kupie wszystko
wyszukiwać w mgnieniu oka, zamiast czekać kilkadziesiąt sekund nim system
operacyjny rozprawi się ze strukturą danych na dysku.

Jarek

--
Otwórzmy więc ich drzwi
Zajrzyjmy im do wnętrza
Tu tyle różnych spraw
Nawarstwia się i spiętrza

do góry

Dnia 07 Jul 2013 12:21:59 GMT, Jarosław Sokołowski napisał(a):
> Anerys napisał:
>>> Ale zapis każdego SMS w osobnym pliku? Doprawdy nie wiem, kto by mógł
>>> mieć takie pomysły!
> Ekonomiki zero -- ta uwaga odnosi się do całej organizacji przedsięwzięcia.
> Trzeba za każdym razem utworzyć plik, a wcześniej wymyślić mu nazwę.
> Organizacja wyszukiwania też nie jest prosta -- trzeba czytać kartalogi
> żeby dostać nazwy plików, które mogą (choć nie muszą) być skojarzone
> z metadanymi dotyczącymi SMS. Ale żeby poszukać coś w *treści* SMS-ów,
> to już trzeba po kolei otwierać każdy plik i zaglądać mu do wnętrza.
> Po prostu horror.

de facto to samo co w bazie banych - dane sa gdzies na dysku, a do
tego mamy dane organizacyjne :-)
Tyle tylko ze baza danych dostowana do typowych operacji, a system
plikow zazwyczaj nie :-)

>> Jakby przyszło co do czego, to bym pomyślał nad sensownym zebraniem tego
>> do kupy.
> Dostałem kiedyś dane zorganizowane w ten sposób, że tekstowe informacje były
> w kilkudziesięciu tysiącach małych plików pogrupowanych w kilka poziomów
> katalogów. Pierwsze co zrobiłem, to potraktowałem to wszystko wzmiankowanym
> programem TAR (co się wkłada: TApe-ARchiver, czyli program do zamiany
> struktry dysku na liniową reprezentację taśmy magnetycznej). Teksty nie
> zmieniły swojej formy, każdy został tylko poprzedzony jednym wierszem
> zawierającym dane o pliku i katalogu. I już dało się w tej kupie wszystko
> wyszukiwać w mgnieniu oka, zamiast czekać kilkadziesiąt sekund nim system
> operacyjny rozprawi się ze strukturą danych na dysku.

Co tylko zle swiadczy o systemie operacyjnym :-)

P.S. FAT ma jedna wade - nie da sie seek w dlugim pliku szybko zrobic,
trzeba przez wszystkie wpisy w fat przeleciec. Fat co prawda moze byc
w pamieci, a system moze jakies skroty trzymac - ale unix ma to jednak
lepiej przemyslane. Tylko w nim odczyt katalogu trwa dziwnie dlugo :-)


J.

do góry

Dnia Sun, 7 Jul 2013 12:10:24 +0200, Maciej Bebenek napisał(a):
>> Też sobie o tym samym od razu pomyślałem. Przy takim upakowaniu jednemu
>> operatorowi do przechowania wszystkich rozmów jeden dysk wystarczy gdzieś
>> na miesiąc. Ale i bez takich zabiegów pryzma z nośników gromadzących
>> nasze gadulstwo nie wygląda jak egipska piramida.
> To by się nazywało archiwizacją, a nie rejestracją ;-)
> A archwizacja polega na tym, że aby coś znaleźć, archiwsta musi odstawić
> kubek z herbatą, założyć kapcie, zejść do archiwum i zacząć szukać. Długo
> szukać.

Od dawna wymyslono na to roboty zmienajace tasmy, potem czytniki plyt
ze zmieniarkami, potem znow zmieniarki do tasm ... i co najwyzej
sprowadza sie to do dluzszego czekania.

> Jeśli takie nagrania miały by się komuś do czegoś przydać, to musiały by
> być w formie przeszukiwalnej, najlepiej z dobrze zrobionym indeksem ;-)
> Odnoszę wrażenie, że te wszystkie pryzmy bardziej koncentrują się na
> robieniu indeksu, niż na magazynowaniu rozmów.

indeks cenna rzecz, ale indeks z tresciami - bezcenna.
Masz podejrzanego, i dostep do calej jego komunikacji - z kim gadal, o
czym, o czym gadali jego rozmowcy ... tylko te trudnosci techniczne.

Owszem czasem sie przydaje rozpoznawanie, wyszukiwanie - kto tam np
gada o materialach wybuchowych.

J.

do góry