On 9 Wrz, 20:17, bartekltg <b...@g...com> wrote:
> On 9 Wrz, 19:49, Mariusz Marszałkowski <m...@g...com> wrote:
>
>
>
> > > > A jakby... wektor miał długość 10^6 i miał tylko 4 części
> > > > po 250tys elementów i w każdej części tylko jedna jedynka i
> > > > reszta zer? Jakby nie patrzeć też trzeba znaleźć milion
> > > > parametrów, ale dane są cholernie rzadkie?
>
> > > I 10^8 takich wektorkow. To tylko 1600MB danych.
> > > Sprawdz jak szybko proponowana metoda zbiegnie.
>
> > > Do testowania jakosci przyblizenia mozesz uzyc zaleznosci
> > > A' (Ax-b)=0. Iloczyny skalarne i mnozenia macierzy * e_i
> > > są blyskawiczne.
>
> > Skupmy sie na tym że  wektor składa się tylko z 4 częsci.
> > Każda część ma 250tys elementów. Każda część ma
> > jedną jedynkę i reszta zer. To dobrze obrazuje miejsce
> > potencjalnego zysku - taki wektor można skompresować
> > do czterech liczb - każda liczba wskazuje położenie jedynki
> > w części. 10^9 wektorów danych to zaledwie 12GB danych,
> > nawet w RAM się zmieszczą.
>
> Czytaleś co pisalem. Nawet przez chwile nie chzialem mieć
> nieskompresowanej wersji:)
Dziś mi mogło coś umknąć, ale przeczytam wątek jeszcze
raz :)

>
> > Niemniej parametrów do ustalenia nadal jest 10^6 i żeby
> > zbudować równanie, trzeba macierz kwadratowa o rozmiarze
> > 10^6 x 10^6 - i tu jest problem :)
>
> No nie trzeba:) W paru ostatnich postach zarysowalem
> procedurke ktora powolutku dziubdzia coraz lepsze przyblizenia.
Mniej więcej rozumiem, jeszcze wczytam się dokładniej.

> Bardziej bym sie zastanawiał nad statystycznym sensem
> takiej aproksymacji. Ale skoro mowisz, ze jest..
Raczej nie mam lepszego pomysłu :)
Zrobię mieszankę liniowej i nielinowej klasyfikacji..
za kilka miesięcy będę wiedział na ile pomysł był
dobry.

Dzięki