On Thursday, April 18, 2013 5:35:15 PM UTC+2, Edek wrote:

> No bo nie mam zbyt wysokiego mniemania o NN w sensie ogólnym.
Ach to o to chodziło :) Mnie strasznie wkurza propaganda SSN. Czasami
można odnieść wrażenie, że naprawdę programista jedzie na wakacje, a w
tym czasie sieć neuronowa pisze za niego program. W praktyce należy
spodziewać się że będzie odwrotnie i rozwiązanie na bazie SSN będą
wymagały większego nakładu pracy, nie wspomniawszy o klastrach
obliczeniowych do treningu i eksperymentów. Niemniej jestem entuzjastą
rozwiązań w których sztuczna sieć neuronowa pełni jakąś pomocniczą rolę.


> Jak to mówią ludzie z front-office, fajnie działają, ale nie da się
> tego sprzedać, bo to black-box - na pytanie "jak to działa w konkretnym
> przypadku" można rybkę szczelić.
Racja, a to zaledwie wierzchołek góry lodowej problemów SSN. Trudno (bardzo
trudno) na bazie wyuczonej sieci wywnioskować jaki ona w istocie realizuje
algorytm, kiedy ten algorytm zadziała, a kiedy zawiedzie. Nawet gdy sieć ma
niezbyt dużo połączeń/wag to trudno jest się uczyć od wyuczonej sieci. Od
wielu innych metod uczenia maszynowego można się czegoś dowiedzieć niczym
od nauczyciela.

A czy fajnie działają? Nie wiem czy tak fajnie... W moich szachach działają
rewelacyjnie, ale opracowanie i implementacja choćby algorytmy
przygotowującego dane zajęło mi wiele wiele miesięcy, jeśli nie lat. Jak
dam tak po prostu dane z gier, czy dane graczy do uczenia, to mam
powiedzmy 90% szans na całkowicie bezsensowny efekt i jakieś 10% na efekt
kiepski :) Tak więc rola sieci neuronowej w tej całej zabawie jest
marginalna, rewelacyjne działanie wynika z tzw "dodatków" które
okazują się najważniejsze.


> Dodatkowo NN to artefakt ideologii AI, gdzie mapowanie mózgu przesłania
> mapowanie umysłu, a tu już się kłania lingwistyka.
Hmmm nie wiem :) Ja stawiam (wiem że kontrowersyjną) hipotezę, że mózg to
antena, analogiczna jak oczy, czy uszy.

> Praktycznie ja najpierw zrobiłem typowe NN, gdzie zrównoleglanie było
> banalne, a potem zrobiłem coś takiego:
Typowe, warstwowe, jednoprzebiegowe sieci powinny się zrównoleglać
prawie liniowo. W przypadku bardziej skomplikowanych sieci, można
zrównoleglać obliczanie błędu i/albo gradientu.


> I to już zaczęlo mnie uczyć kombinowania w programowaniu gpu. Naprawdę
> trzeba się namęczyć.
Gdy się rozważa siedząc w wygodnym fotelu, to nie wydaje się trudne, ale
w praktyce... wierzę że jest co tuningować przez długie tygodnie.

Pozdrawiam