On Wednesday, October 11, 2017 at 2:41:45 AM UTC+2, bartekltg wrote:
> On Tuesday, October 10, 2017 at 11:47:05 PM UTC+2, M.M. wrote:
> > On Tuesday, October 10, 2017 at 4:15:05 AM UTC+2, bartekltg wrote:
> > > On Monday, October 9, 2017 at 12:33:17 PM UTC+2, M.M. wrote:
> > > > On Monday, October 9, 2017 at 6:51:32 AM UTC+2, bartekltg wrote:
> >
> > Hmmmm w sumie dużo racji w tym jest. Chociaż jeśli skuteczność algorytmu
> > zależy od danych, to trzeba zrobić np. 1000 restartów. Na 1000 rdzeniach
> > wyniki będą 1000 razy szybciej.
>
> Czasem. Nie za często;-)
> Takie super przyszpieszenie będzie miało np całkowanie MC,
> ale już|mnożenie macierzy - nie.

Tak. Nie każdy problem algorytm się nadaje. Sztuczne sieci neuronowe
idealnie się nadają. Milion rdzeni oznacza milion eksperymentów w
tym samym czasie co jeden eksperyment na jednym rdzeniu.


> > > Tylko wtedy wchodzi komunikacja między węzłami. To może oznaczac, że '37'
> > > jest lepszy. Ale tylko na tym klastrze, bo jest tak a tak powiązany,
> > > i jeśli używamy MPI od Intela, bo OpenMPI lepiej dogaduje się z '77'.
> > > ;-)
> > Tak, komunikacja i nie-zunifikowany-dostęp-do-pamięci to dodatkowy aspekt.
>
> Niezunifikowana to brzmi dość niegroźnie. To sa osobne serwery, tylko
> połączone bardzo szybką siecią (CIS ma 40Gb/s infiniband, ale to potrafi
> iść znacznie wyżej).

Nom, taka architektura niektóre algorytmy całkowicie dyskwalifikuje.
40Gb/s to sporo, ale jest także bezwładność, mogą być semafory
blokujące wiele wątków, itd.

> Zadnej siatki, żadej skończonej liczby czujników, zad nych błedów
> numerycznych. To wynik dla samych równań. No i tych konkretnych.
Hmmmm to lipa.

A jakby dużą sztuczną sieć neuronową nakarmić danymi pogodowymi?
Pewnie pogody by nie przewidywała dokładnie, ale jakby dawała
odpowiedź że na tych koordynatach o tej godzinie będzie padać
deszcz z prawdopodobieństwem 40%, to po latach testów by było
koło 40%. Tak, wiem, póki co nie ma algorytmów które tak dokładnie
ustaliłyby wagi sieci neuronowej. W biologicznych sieciach
neuronowych jakoś się ustalają i rozwiązują trudne zadania - co
prawda nie przewidują pogody.... chociaż niektóre zwierzęta w
jakimś ograniczonym stopniu potrafią.



> > Gdy się nasłuchałem jak sztuczne sieci neuronowe udoskonalały procesy
> > technologiczne, to wciąż się zastanawiam, czy SSN na odpowiednio
> > mocnym kompie mogłyby sugerować rozsądne przepisy na technologię
> > wytwarzania różnych rzeczy z nanorurek.
>
> Nie.
> W pewnym sensie sztuczne sieci neuronowe nie powiedzą nic,
> czego ich nie nauczyłeś:)

W pewnym sensie to nie wiem. Ogólnie bazuję na dwóch faktach.
Po pierwsze, w DNA nie ma zbyt dużo informacji o szczegółach
mózgu. Po drugie, biologiczne sieci neuronowe, nanorurek jeszcze
nie opanowały, ale opanowały wiele innych technologii. Wykluczywszy
boga, kosmitów i inne uznawane fantastyczne teorie, nas też nikt tego
wszystkiego nie uczył.


> > > A czy te inwestycje są takei drogie w stosunku do reszty?
> > > Prometeusz cyfronetu w 2014 kosztował 41 mln i wylądował ok 30
> > > miejsca w top500.
> > > Porządny mikroskop elektronowy kosztuje kilkanaście mln.
> > > Kilkuletni projekt średniego szczebla (grant Sonata) to większe
> > > kilkaset tysiecy.
> > Hmmmm a teleskop jamesa webba wyniesie coś w okolicach 9mld dolarów.
> > Koszt LHC jest/był niewiele mniejszy. Nie zdziwiłbym się, gdyby za
> > taką kasę dało się zamówić miliard porządnych GPU, a 200mln to na
> > pewno.
>
> Za jaką kasę? Za LHC? LHC jest potrzebne, nie samymi kompami człowiek żyje.
> BTW, to koszt budowy, dolicz koszt pracy ludzi robiących tam badania:)
Tak czy inaczej, masz rację, że inne projekty pochłaniają dużo więcej
środków niż superkomputery.


> Nie wiem, jak za 9mld dolców chcesz kupić miliard GPU. Ostatnio jak patrzyłęm
> nienajgorsze GPU kosztowało raczej $900, nie $9.
Przy takim gigantycznym zamówieniu może jakaś firma dostosowałaby
technologię i cena spadłaby do 10-30 usd?


>
> Pamiętaj też o dwóch rzeczach:
> -Samym GPU to się można podetrzeć. Procek nie może być słaby, do tego
> kupa ramu, pamięć masowa, droga szybka sieć...
Zależy od typu obliczeń. W sieciach neuronowych

Intel Core2 Quad Q9450 @ 2.66GHz

w porównaniu do

GTX 280

A GeForce GTX 1080 jest 10 razy wydajniejszy od gtx 280, więc na dwóch
kartach można uzyskać przyspieszenie pewnie z 800 razy względem tego
procka. Dwie karty GTX 1080 można kupić za około 1000usd. Za 1000usd
można także kupić AMD Ryzen Threadripper 1950X, ale uzyska się 
przyspieszenie zaledwie 7 razy.

Zależy jakie obliczenia... Jeśli dobrze zrównoleglająca się arytmetyka, to za
te same pieniądze na GPU zadziała do 200 razy szybciej.


> -Nie wszystko się dobrze przenosi na GPU.
> Wspominany cyfronet ma moduły GPU, ale nie stanowią one większości.
> https://kdm.cyfronet.pl/portal/Zeus_GPGPU

Tak, nie wszystko, bo inaczej byłyby tylko GPU w komputerach.


> Ale też klaster jest w każdym większym ośrodku, a LHC jest jedno,
> przedsiewzieć o niewiele mniejszej skali kilka.

No tak, to też prawda.


Pozdrawiam.