W dniu 2012-02-04 08:56, M.M. pisze:
> bartekltg<b...@g...com> napisał(a):
>
>>> Oj! Skąd to wiesz?! Dałoby się np. sprawdzić testem nieparametrycznym,
>>> lecz... nie w każdym przypadku błędy są opisane tzw. rozkładem normalnym
>> .
>>
>> Rozumiesz tekst pisany? Gdy błędy sa takie a takie to
>> teg lin jest w pewnym sensie najlepsza. Teraz pojął?
>
> Regresja liniowa to w ogole wdzieczna metoda. Odznacza sie mala
> zlozonoscia i jednoznacznosc wyniku. Mozna miec caly dysk zawalony
> danymi i bez problemu znalezc 2-3tys liniowych parametrow.

Z ta małą złożonością aż tak bym nie przesadzał.
Z samej regresji przyjdzmy do prawdziwego zadadnienie,
czyli najmniejszych kwadratów.
Macierz X, parametry b, wyniki y.
Szukamy b takiego, aby wektor Xb-y miał najmniejszą długość.

X jest rozmiaru n=[ilość zmiennych] na m=[ilość próbek].

Rozwiązanie tego równaniem normalnym sprowadza się
do stworzenia układu równań z macierzą n x n, czyli
rzeczywiście małego, a X^t*X można policzyć w miarę
sprawnie mając pełne X na dysku. Ale ta metoda
jest kiepskawa numerycznie (uwarunkowanie
nam się skwadratowało, a dla dużych X i tak było
najprawdopodobniej niemałe).

Inne popularne metody które nie mają tego problemu
korzystają z jakiś rozkładów X. Ale wtedy niewygodnie
to zrobić na dysku:) No i ma te swoje n^3 czasu.

Chyba, że masz jakiś pomysł. Kiedyś była tu (albo
w okolicy) dość poważna dyskusja na ten temat.

Kilkadziesiąt GB danych, parę(dziesiąt) tysięcy parametrów.


> Natomiast wszelkie szukanie nieliniowych parametrow szybko zamienia
> sie w koszmar obliczeniowy.

W końcu minimalizacja kwadratów odchyleń to na dobrą sprawę
rzut na odpowiednią płaszczyznę;-)

pzdr
bartekltg