On Saturday, December 28, 2019 at 9:15:02 AM UTC+1, Borneq wrote:
> W dniu 2019-12-27 o 20:34, Mateusz Viste pisze:
> > To może dałoby się załatwić oba problemy jednym podejściem? Wygenerować
> > sobie dla każdego języka zestaw tablic częstotliwości - po jednej na
> > każde dopuszczalne kodowanie, i sprawdzać swój plik na tej podstawie -
> > jeśli szczęście dopisze, to mamy wykrywanie język+strona. Tylko do
> > tego, jeśli to w ogóle ma statystyczną szansę zadziałać, trzeba mieć
> > sporą próbkę materiału.
> >
> > Mateusz
> >
>
> sprawdze czy zadziala

Z częstotliwościami pomysł wydaje się dobry. Jeśli danych jest dużo, to można
ustawić 'dziurkę od klucza' na trzy bajty, a następnie przesuwać dziurkę od
klucza od jeden bajt. Z każdego pliku powstanie N-2 trójek, gdzie N to rozmiar
pliku w bajtach. Jeśli danych jest mało, to dziurkę od klucza lepiej ustawić
na 2 bajty. Tak zebrane częstotliwości można wrzucić na do sieci neuronowej.
Zapewne częstotliwości warto będzie normalizować przed uczeniem sieci.
Może wystarczyć najprostsza sieć z jednym liniowym neuronem, czytaj jedna
sieć na jedno kodowanie. Takie sieci błyskawicznie się uczą przy zastosowaniu
kwadratowej funkcji błędu.

Pozdrawiam