czwartek, 19 listopada 2020 o 13:30:25 UTC+1 M.M. napisał(a):
> On Wednesday, November 18, 2020 at 11:10:46 PM UTC+1, Maciek Godek wrote:
> > środa, 18 listopada 2020 o 21:44:48 UTC+1 M.M. napisał(a):
> >
> > > Z notatnikiem w ręku nie robiłem pomiarów, ale wychodząc z
> > > Twojego założenia o ludzkiej omylności, nie ma sensu robić takich
> > > pomiarów, bo bym się pomylił w notowaniu ;-)
> > To błędny wniosek.
> Żartowałem :)

Ryzykant ;]

> > Można dokonywać eksperymentów pomimo tego, że się popełnia błędy.
> Oczywiście.
> > > Kilkoro dzieci uczyłem tabliczki mnożenia, alfabetu i jak się dobrze
> > > nauczyły to nie popełniały błędów.
> > Nie popełniały błędów na zbiorze trenującym, czy na zbiorze testowym?
> W ogóle nie myślałem o podziale na zbiór uczący i testowy gdy przytaczałem
> ten przykład.

No to nic dziwnego, że masz niewspółmierne wyniki.

> > > Podobnie jak w recytowaniu wiersza z
> > > pamięci - o ile im się chciało i o ile dobrze się nauczyły to powtarzały bez
> > > pomyłek.
> > Sieć neuronowa, o ile "dobrze się nauczy", też będzie powtarzała bez pomyłek.
> Oczywiście, jeśli sztuczną siec neuronową, opartą o klasyczny perceptron
wielowarstwowy,
> wyuczymy z dokładnością 100% na danym zbiorze, to będzie dawała poprawne
> odpowiedzi z prawdopodobieństwem 100% na tym zbiorze.
> > Owe 95% (czy ile tam) skuteczności nie dotyczy powtarzania.
> Nie rozumiem.

Zdanie niżej masz wyjaśnienie, na które odpowiedziałeś "oczywiście"

> > Wytrenowana sieć dla tych samych danych wejściowych w 100% razy zwróci te same
dane wyjściowe.
> > (w każdym razie dotyczy to sieci bezinercyjnych, takich jak perceptrony)
> Oczywiście.

O.

> > > Kiedyś amatorsko tresowałem kota, łapał i aportował zabawkę
> > > bezbłędnie.
> > W jaki sposób mierzyłeś błąd? I na ilu próbach?
> Na potrzeby tego o czym pisałem nie ma potrzeby użycia naukowej,
> udokumentowanej metody, tym bardziej że jest to tylko analogia.

Albo używamy pomiarów, albo stosujemy analogie.
Mówienie o procentach skuteczności sugeruje pomiar.

> Dziecko po opanowaniu całego materiału może udzielać bardzo
> dokładnych, precyzyjnych odpowiedzi i ta umiejętność nie musi
> dziecku niekorzystnie wpłynąć na zdolności generalizowania, abstrahowania.
> Sztuczne sieci neuronowe zwykle uczy się tylko do pewnego momentu, aby
> nie doszło do przeuczenia. Zwykle lepiej jest gdy sztuczne sieci
> neuronowe nie udzielają precyzyjnych odpowiedzi na zbiorze uczącym.
> > > Ale powyższy akapit ma się nijak do tego o czym pisałem i nie
> > > chce mi się sprawdzać, kiedy dziecko myli się raz na 5 recytacji
> > > wiersza, a kiedy raz na 1000 recytacji. Interesuje mnie fakt, że
> > > DZIECKO UCZĄC SIĘ DOKŁADNIE (np. tabliczki mnożenia do 10) NIE
> > > ZATRACA ZDOLNOŚCI GENERALIZACJI W ZAKRESIE DO 20.
> > OK, to tutaj już jest bardziej konkretna hipoteza
> Przepraszam że poprzednio napisałem zbyt skrótowo.
> > (której chyba nadal nie rozumiem).
>
>
> > Czyli twierdzisz, że jeżeli dziecko nauczy się na pamięć, ile to jest 6 * 7, to
będzie
> > również bez problemu w stanie powiedzieć, ile to jest 13*17?
> Nadal nie to chciałem powiedzieć, ale już jesteśmy bliżej sedna. Dziecko może
> uczyć się tabliczki mnożenia na pamięć. Nie jest ważne czy to dobra metoda nauki,
czy
> zła - to po prostu przykład działania biologicznego mózgu w akcji. Dziecko
> otrzymuje jeden przykład uczący do nauki, drugi, kolejny. W zależności od tego
jakie to
> dziecko i czego uczyło się wcześniej, może znaleźć regułę mnożenia po pamięciowym
> opanowaniu mniejszej ilości przykładów, większej, albo w ogóle. Dziecku po
> prostu dajemy przykłady do nauki. W przypadku sztucznych sieci neuronowych jest
> inaczej. Przed przystąpieniem do uczenia sztucznej sieci, zbiór danych
> dzielimy na zbiór uczący i zbiór testowy. Zbiór testowy jest w pewnym sensie
> marnowany, ponieważ nie jest przeprowadzana na nim nauka. Niemniej jednak
> zbiór testowy jest konieczny, aby móc kontrolować jakość działania sztucznej
> sieci neuronowej na przykładach które nie były podawane w trakcie nauki.

W przypadku nauki dzieci też masz zbiory trenujące i zbiory testowe.
Przynajmniej tak jest w przypadku nauki matematyki.
Masz przykłady i masz zadania sprawdzające.
Doświadczenia nauczycieli raczej podpowiedzą, że na zadaniach sprawdzających rzadko
masz 100% skuteczności.

Przykład z tabliczką mnożenia jest o tyle niefortunny, że to jest dokładnie coś,
czego uczysz się na pamięć.
Taki jest zamysł. To jest cache, który ma później usprawniać obliczenia.

Dziecko, które ma "dane w cache'u", może nie mieć algorytmu do mnożenia, i dlatego ze
znajomości tabliczki mnożenia nie można wyciągnąć wniosku o tym, czy dziecko umie
mnożyć liczby powyżej 10.

> Zwykle w trakcie nauki mamy do czynienia ze zjawiskiem przeuczenia, czyli
> im sieć daje więcej poprawnych odpowiedzi na zbiorze uczącym, tym mniej na
> zbiorze testowym. Zwykle należy przerwać trening sieci w momencie gdy na zbiorze
> testowym jest najwięcej poprawnych odpowiedzi. Widać tutaj oczywistą i
> sporą wadę w porównaniu z nauką dzieci. Nawet na zbiorze uczącym sieć nie
> daje 100% poprawnych odpowiedzi! Minimalnie wypaczając analogię, to tak jakby
> uczyć dziecko tylko do momentu gdy udzieli 80% poprawnych odpowiedzi z
> tabliczki mnożenia. W sztucznych sieciach neuronowych na bazie 'mojej
> autorskiej' struktury danych ten problem nie jest aż tak drastyczny - choć
> niestety nadal może się pojawiać. Moje sieci mogą dawać 100% poprawnych i
> bardzo precyzyjnych odpowiedzi na dostępnych danych, bez obawy, że znacznie
> spadnie skuteczność na danych, których nie było w trakcie uczenia. Problem
> przeuczenia w moich sieciach nie jest aż tak dużym problemem.

Nie możesz "nie mieć obaw o skuteczność na danych, których nie było w trakcie
uczenia".
Bo jeżeli nie było, to skąd sieć ma wiedzieć, jakie tam mają być wartości?

Nie może tego wiedzieć.

Przetrenowanie i błędna generalizacja u ludzi może wystąpić w takim samym stopniu,
jak u sieci neuronowych.

Ja pamiętam, jak kiedyś chyba w przedszkolu byłem oburzony, bo mieliśmy odróżnić
obrazek z sałatą od obrazka z kapustą. I to na domiar złego była taka włoska kapusta,
z odstającymi liśćmi. Tak że wyglądała dla mnie nierozróżnialnie od sałaty (tym
bardziej, że w moim spekrtum doświadczeń nie było ani kapusty, ani sałaty)

Jak masz bardzo duży zbiór danych, to zawsze znajdzie się tam kot, który wygląda jak
pies, albo ser, który wygląda jak skrzynka na listy.
Albo cyferka 3, która wygląda jak 5 albo 8. I jeżeli oznaczenie danych mówi, że ta
cyferka to jest 3, ale sieć widzi, że jednak wygląda bardziej jak 8, to nie można
mieć do niej pretensji, że "się myli".

> > > Nie muszę
> > > dziecka uczyć tylko 70% przykładów, bo w wieku dorosłym będzie
> > > miało z mnożeniem w słupku - to było oczywiste. Tymczasem, sztuczna sieć
> > > neuronowa zbudowana w oparciu o klasyczny perceptron wielowarstwowy, ucząc się
> > > dokładnie na zbiorze uczącym, zazwyczaj udziela gorszych odpowiedzi na zbiorze
> > > testowym. Sztuczne sieci neuronowe zbudowane w oparciu o moją architekturę
> > > mają z tym mniej problemów - tak, chwalę się, jestem dalece niedoskonały ;-)
>
> > Ja czasem mam tak, że jak sobie w jesienne wieczory idę przez miasto, to
> > niektóre worki na śmieci wypełnione liśćmi mój mózg rozpoznaje jako psy.
> > Serio, jestem na jakimś poziomie całkowicie przekonany, że na ulicy leży pies.
> > Dopiero jak się wytężę, uświadamiam sobie, że to tylko worek na śmieci.
> > Czasem jeżeli nawet kilka dni z rzędu idę przez to samo miejsce, i leży ten
> > sam worek, to niezawodnie rozpoznaję w nim dużego śpiącego bernardyna.
> Od czasu gdy mój wzrok uległ znacznemu pogorszeniu, bardzo często mam podobne
> problemy, aż dziwne, że z takimi zakłóceniami jestem w stanie cokolwiek
> rozpoznać. Ale to też odbiega od tematu rozmowy.

Właśnie chodzi o to, że nie odbiega.
Że pokazuje zjawiska, które można obserwować w działaniu sieci neuronowych na
spektrum naszych doświadczeń.

> Raczej chciałem
> tutaj powiedzieć, że sieci zbudowane w oparciu o moją architekturę nie
> powtarzają błędów, bo można je wyuczyć na maksa na danych rozszerzonych o
> przypadki w których pojawiły się błędne odpowiedzi, a problem przeuczenia
> nie występuje tak łatwo jak w przypadku sieci zbudowanych w oparciu o
> klasyczny (nie)liniowy perceptron wielowarstwowy.

To może kluczowe pytanie jest takie, z jakich zbiorów danych korzystałeś, żeby dojść
do tych wniosków.

> > Na dużych zbiorach danych popełnianie błędów jest niemożliwe do uniknięcia.
> Jeśli jakąś przestrzeń mamy gęsto pokrytą danymi (czyli mamy dużo danych i
> równomiernie rozłożonych po tej przestrzeni) to jest możliwe wyuczenie sieci
> która da blisko 100% poprawnych odpowiedzi na zbiorze uczącymi i
> testowym.

To zależy od zbioru uczącego i testowego.
Ale tak, zazwyczaj (pewnie) jest możliwe. Nawet owo anegdotyczne 95% to jest całkiem
"blisko 100%".