On Monday, November 18, 2019 at 3:38:04 PM UTC+1, Borneq wrote:
> W dniu 10.11.2019 o 10:16, Borneq pisze:
> > No i stało się. Zainstalowałem DeepL lokalnie na komputerze, do tej pory
> > używałem przez internet. Działa szybciej niż przez internet, nie trzeba
>
> z pdf z https://github.com/lmthang/thesis
> przykład gdzie nie ma słownika tylko korpus równolegly
>
> Chodzi o to, jakie maksymalne informacje można wydobyć z korpusa.
>
> parallel corpus
> She loves cats = Elle aime les chats
> She loves him = Elle l'aime
> He adores cute cats = Il adore les chats mignons
> He has a cat = Il a un chat
>
> pytanie: jak przetłumaczyć na podstawie tych 4 zdań "She loves cute cats"?

Nie wiem, ale chyba albo ilość danych rośnie wykładniczo, albo musimy
znać model.

> ja dochodzę do wniosku że
> Elle aime les chats mignons
> deepL: Elle adore les chats mignons - słuszniej, ale nie wynika to z
> tych 4 zdań
>
> można się dowiedzieć że
> she = elle
> loves = aime (cats)|l'aime(him) przy czym te słowa są zadziwiająco
> podobne, czyli nie inne tylko inna forma
> w rzeczywistości l'aime jest dużo mocniejsze (lubi-kocha) a nie inna forma
> cats = les chats //nawet podobne ale nie trzeba się tym sugerować
> him = albo znika w tym zdaniu, stając się domyślny albo staje się
> przedrostkiem - w rzeczywistości jeśli obiektem jest "on", wtedy się
> opuszcza
> he = Il
> adores = adore
> cute = mignons + zamiana miejscami słów we frazie
> has - a
> a cat = un cat, tylko skąd wiedzieć że to nie "a" zostało przetłumaczone
> na "a"?? - potrzebne są albo
> wstępne informacje językowe albo więcej zdań w korpusie

Taki nieprzemyślany pomysł: bierzemy tyle sieci neuronowych ile jest słów w
języku docelowym jedna siec ze słowem pustym. Sieci mogą mieć wspólne wagi.
Wrzucamy z kontekstu 100 poprzednich słów, 100 następnych i oczywiście słowo
tłumaczone. Do zdania tłumaczonego dodajemy sztuczne słowa nie istniejące
w oryginalnym języku, np. słowo "Zwykle prawą ręką zapalam światło" zamieniamy
na zdanie "aaaa bbbb Zwykle cccc dddd prawą eeee ffff ręką gggg hhhh zapalam
iiii jjjj światło kkkk llll". Czasami sieć dla sztucznych słów wypluje
słowa typu a, the, albo jakieś idiomy. Innym razem sieć wypluje slowo puste, co
będzie znaczyło, że tego slowa się nie tłumaczy. Potem inny zestaw sieci zadba o
kolejność, interpunkcję, wielkie litery... a może to kolejny zestaw doda
idiomy i słowa których nie da się wyrazić uboższą gramatyką w języku docelowym?

> Gdyby zapytać się o : He has a cat -> Elle a un chat
> można stwierdzić nawet bez wiedzy o tym czy "a" to "has" czy "a" to "a"
> Tylko należy zauważyć że te zdania są bardzo krótkie i dość łatwo można
> je dopasować

Pomimo że są krótkie, to czasami wieloznaczność słów uniemożliwia
przetłumaczenie bez kontekstu, słynny polski 'granat', 'on ma granat',
chodzi o owoc czy ładunek wybuchowy, a może o kolor?

Pozdrawiam

do góry

W dniu 18.11.2019 o 16:06, M.M. pisze:
> iiii jjjj światło kkkk llll". Czasami sieć dla sztucznych słów wypluje
> słowa typu a, the, albo jakieś idiomy. Innym razem sieć wypluje slowo puste, co
> będzie znaczyło, że tego slowa się nie tłumaczy. Potem inny zestaw sieci zadba o

A czy zamiast neuronów nie można użyć jakiegoś algorytmu, np. liczącego
prawdopodobieństwa Bayesa? Trochę mam niezbyt dużo zaufania do sposobu w
którym to nie my określamy działania, tylko sieć sama się uczy w
niewiadomy sposób, za to trzeba ja długo uczyć na wielkiej ilości danych.

Zamiast tłumaczyć z języka A na B, można by spróbować tekst zrozumieć,
mieć wtedy pośredni język.

Na przykład porównując definicje:
http://wordnetweb.princeton.edu/perl/webwn?s=solid&s
ub=Search+WordNet&o2=1&o0=1&o8=1&o1=1&o7=1&o5=&o9=&o
6=&o3=&o4=&h=0

https://en.wiktionary.org/wiki/solid

Widać że część się pokrywa, część nie. Ale w jaki sposób maszyna może
stwierdzić pokrywanie się definicji?
(geometry) A three-dimensional figure (as opposed to a surface, an area,
or a curve).
==
S: (n) solid#3 (a three-dimensional shape)

(chemistry) A substance in the fundamental state of matter that retains
its size and shape without need of a container (as opposed to a liquid
or gas).
==
(14)S: (n) solid#1 (matter that is solid at room temperature and pressure)

natomiast to nie pasuje:
An article of clothing which is of a single color throughout.

--
gdy się porównuje definicje, to człowiek jest w stanie stwierdzić, czy
pasują czy nie, natomiast komputer jak to może stwierdzić?
Przydałoby się liczyć to z jakimś prawdopodobieństwem, na przykład: te
definicje pasuję na 0.99, te na 0.01, a gdy na 0.6 to mamy problem.

do góry

W dniu 18.11.2019 o 19:42, Borneq pisze:
> gdy się porównuje definicje, to człowiek jest w stanie stwierdzić, czy
> pasują czy nie, natomiast komputer jak to może stwierdzić?
> Przydałoby się liczyć to z jakimś prawdopodobieństwem, na przykład: te
> definicje pasuję na 0.99, te na 0.01, a gdy na 0.6 to mamy problem.

Zadanie dla sztucznej inteligencji:
Mamy dwie definicje i mamy porównać czy są zgodne. Odpowiedź może być
prawdopodobieństwem albo odległością pojęć.
Dla bliskich sobie pojęć to i człowiek może mieć kłopoty:
na przykład dla definicji wody, jako cieczy znajdującej się w
zbiornikach wodnych, inna definicja to H2O, trzecia to substancja
niezbędna do życia.

do góry

On Monday, November 18, 2019 at 7:42:29 PM UTC+1, Borneq wrote:
> W dniu 18.11.2019 o 16:06, M.M. pisze:
> > iiii jjjj światło kkkk llll". Czasami sieć dla sztucznych słów wypluje
> > słowa typu a, the, albo jakieś idiomy. Innym razem sieć wypluje slowo puste, co
> > będzie znaczyło, że tego slowa się nie tłumaczy. Potem inny zestaw sieci zadba o
>
> A czy zamiast neuronów nie można użyć jakiegoś algorytmu, np. liczącego
> prawdopodobieństwa Bayesa?

Można, ale z materiałów wynika, że tak się robiło dekadę temu. Poza tym można
zastosować rozwiązania łączone, co by szkodziło, żeby do sieci podawać
wyjścia z drzew decyzyjnych czy klasyfikatora bajesya?


> Trochę mam niezbyt dużo zaufania do sposobu w którym to nie my określamy
> działania, tylko sieć sama się uczy w niewiadomy sposób,

Sztuczne sieci neuronowe są w pewnym sensie bardzo wygodne. Mamy
szereg parametrów: ilość wag, kary za duże wagi, przedziały w których wagi
muszą się zmieścić, kary za duże wyjścia. Zwiększając te parametry, dajemy
większą swobodę sieci. Po uczeniu sprawdzamy na zbiorze testowym czy nie
daliśmy za dużo swobody. To w pewnym sensie bardzo łatwe i mechaniczne
podejście. Gdzieś w międzyczasie dobieramy ilość połączeń i sposób połączenia.
I tak w kółko aż do skutku. Oczywiście można się tą łatwością i wygodą
zachłysnąć...
sieci


> za to trzeba ja długo uczyć na wielkiej ilości danych.

To samo dostrzegłem ucząc sieci na najprostszych przykładach, np. tabliczki
mnożenia. Rozumiałem, że wyuczona sieć ma tabliczce 10x10 nie uogólnia dobrze
na przykładzie 20x20, ani nawet na przykładzie 5.5x5.5, bo to w końcu inny
model. Ale dlaczego sieć tak długo się uczy tych głupich 100 danych
uczących - nie mogłem zrozumieć. Dlatego opracowałem nowe sieci neuronowe,
powinny sprawiać mniej problemów.


> Zamiast tłumaczyć z języka A na B, można by spróbować tekst zrozumieć,
> mieć wtedy pośredni język.
>
> Na przykład porównując definicje:
> http://wordnetweb.princeton.edu/perl/webwn?s=solid&s
ub=Search+WordNet&o2=1&o0=1&o8=1&o1=1&o7=1&o5=&o9=&o
6=&o3=&o4=&h=0

Hmmmm, do przemyślenia.

>
> https://en.wiktionary.org/wiki/solid
>
> Widać że część się pokrywa, część nie. Ale w jaki sposób maszyna może
> stwierdzić pokrywanie się definicji?
> (geometry) A three-dimensional figure (as opposed to a surface, an area,
> or a curve).
> ==
> S: (n) solid#3 (a three-dimensional shape)
>
> (chemistry) A substance in the fundamental state of matter that retains
> its size and shape without need of a container (as opposed to a liquid
> or gas).
> ==
> (14)S: (n) solid#1 (matter that is solid at room temperature and pressure)
>
> natomiast to nie pasuje:
> An article of clothing which is of a single color throughout.
>
> --
> gdy się porównuje definicje, to człowiek jest w stanie stwierdzić, czy
> pasują czy nie, natomiast komputer jak to może stwierdzić?
> Przydałoby się liczyć to z jakimś prawdopodobieństwem, na przykład: te
> definicje pasuję na 0.99, te na 0.01, a gdy na 0.6 to mamy problem.

Trudno powiedzieć coś przydatnego na temat tego jak to robi człowiek. Też
czasami może źle zrozumieć. Może chodzi o to, że człowiek wyobraża sobie
jak będzie używał definicji? A co gdy definicje tworzy się w celu
czegoś niewyobrażalnego, np. w celu odkrycia naukowego? Ludzie to jakoś
robią.

Pozdrawiam

do góry

On Monday, November 18, 2019 at 8:12:13 PM UTC+1, Borneq wrote:
> W dniu 18.11.2019 o 19:42, Borneq pisze:
> > gdy się porównuje definicje, to człowiek jest w stanie stwierdzić, czy
> > pasują czy nie, natomiast komputer jak to może stwierdzić?
> > Przydałoby się liczyć to z jakimś prawdopodobieństwem, na przykład: te
> > definicje pasuję na 0.99, te na 0.01, a gdy na 0.6 to mamy problem.
>
> Zadanie dla sztucznej inteligencji:
> Mamy dwie definicje i mamy porównać czy są zgodne. Odpowiedź może być
> prawdopodobieństwem albo odległością pojęć.
> Dla bliskich sobie pojęć to i człowiek może mieć kłopoty:
> na przykład dla definicji wody, jako cieczy znajdującej się w
> zbiornikach wodnych, inna definicja to H2O, trzecia to substancja
> niezbędna do życia.

Temat do przemyślenia. Nie wiem jak komputer mógłby sprawdzić, czy zdanie
"przezroczysta substancja płynna w warunkach normalnych" jest zgodne ze
zdaniem "związek tlenu i wodoru". Inne tego typu substancje nie są
niezbędne, albo wręcz toksyczne. Musi chyba mieć wprowadzone takie dane,
albo algorytm uczenia i doświadczenie porównywalne z doświadczeniem
ludzkiej cywilizacji?

Pozdrawiam.

do góry

On Monday, November 18, 2019 at 4:06:52 PM UTC+1, M.M. wrote:
> On Monday, November 18, 2019 at 3:38:04 PM UTC+1, Borneq wrote:
> > W dniu 10.11.2019 o 10:16, Borneq pisze:
> > > No i stało się. Zainstalowałem DeepL lokalnie na komputerze, do tej pory
> > > używałem przez internet. Działa szybciej niż przez internet, nie trzeba
> >
> > z pdf z https://github.com/lmthang/thesis
> > przykład gdzie nie ma słownika tylko korpus równolegly
> >
> > Chodzi o to, jakie maksymalne informacje można wydobyć z korpusa.
> >
> > parallel corpus
> > She loves cats = Elle aime les chats
> > She loves him = Elle l'aime
> > He adores cute cats = Il adore les chats mignons
> > He has a cat = Il a un chat
> >
> > pytanie: jak przetłumaczyć na podstawie tych 4 zdań "She loves cute cats"?
>
> Nie wiem, ale chyba albo ilość danych rośnie wykładniczo, albo musimy
> znać model.
>
> > ja dochodzę do wniosku że
> > Elle aime les chats mignons
> > deepL: Elle adore les chats mignons - słuszniej, ale nie wynika to z
> > tych 4 zdań
> >
> > można się dowiedzieć że
> > she = elle
> > loves = aime (cats)|l'aime(him) przy czym te słowa są zadziwiająco
> > podobne, czyli nie inne tylko inna forma
> > w rzeczywistości l'aime jest dużo mocniejsze (lubi-kocha) a nie inna forma
> > cats = les chats //nawet podobne ale nie trzeba się tym sugerować
> > him = albo znika w tym zdaniu, stając się domyślny albo staje się
> > przedrostkiem - w rzeczywistości jeśli obiektem jest "on", wtedy się
> > opuszcza
> > he = Il
> > adores = adore
> > cute = mignons + zamiana miejscami słów we frazie
> > has - a
> > a cat = un cat, tylko skąd wiedzieć że to nie "a" zostało przetłumaczone
> > na "a"?? - potrzebne są albo
> > wstępne informacje językowe albo więcej zdań w korpusie
>
> Taki nieprzemyślany pomysł: bierzemy tyle sieci neuronowych ile jest słów w
> języku docelowym...

Gdy pisałem te słowa, nie wiedziałem że takie podejście ma swoją nazwę,
mianowicie nazywa się to 'modelem jednorazowym'.

Pozdrawiam

do góry