Użytkownik "Mariusz Marszałkowski" <m...@g...com> napisał w wiadomości
grup
dyskusyjnych:c83c0c55-71ab-44d6-a1c6-f372ebb3f108@j8
g2000yqd.googlegroups.com...
> Ilość iteracji się zwiększa, bo pochodna bywa naliczana niedokładnie.

Numeryczna aproksymacja gradientu z wartości funkcji niekoniecznie jest
mniej wartościowa w porównaniu z gradientem wydzierganym analitycznie.

> Czas
> jednej iteracji się wydłuża, bo jak optymalizujesz 100 parametrów, to
> musisz wywołać 100 razy optymalizowaną funkcję aby ustalić
> pochodną dla każdego parametru.

Bynajmniej. Ulegasz błędnemu mitowi wyższości "ścisłych" rozwiązań.

Analitycznie liczysz 100 pochodnych cząstkowych, masz średnio dwa razy
dłuższy (liczba operacji) wzór na każdą w porównaniu z samą funkcją. I to
jak dobrze będzie, bo może być nawet znacznie bardziej złożony, policz np.
f'(x) = (d/dx) (sin(x)sin(a x)sin(b x)sin(c sin(p sin(q x)))

Numerycznie liczysz funkcję 1 raz i jeszcze 100 razy, razem 101 razy. Ale
masz z reguły dużo prostsze wzory niż na pochodne cząstkowe. Więc ten 1%
narzutu nie znaczy.

slawek