Gdy mam stwierdzić w jakim kodowaniu jest tekst to wykorzystuję twierdzenie
Bayesa - na przykład mam klasy Win1250,Latin2 i CP852.
Trenuję najpierw na tekstach otrzymując tabelkę 256 częstotliwości
występowania.
Aby zbadać jakie jest prawdopodobieństwo że tekst jest w danej stronie
kodowej dla zadanej klasy mnożę dla każdego znaku prawdopodobieństwa że znak
należy do danej klasy. Aby nie wyszło zerowe, stosuję wygładzenie Laplace'a
w ten sposób że do licznika dodaję jedynkę a do mianownika ilość znaków,
których częstotliwość jest niezerowa przynajmniej w jednej klasie.
Można to stosować do UTF8, ale ten standard w odróżnieniu od tamtych kodowań
jeden znak może kodować kilkoma bajtami. Potrzebne jest sprawdzenie
działające już dla krótkich tekstów i nie tylko porównanie polskich tekstów,
ale odróżnienie UTF8 od innych kodowań niezależnie od języka.
Można wykorzystać budowę kodu: http://pl.wikipedia.org/wiki/UTF-8
A więc dla języków takich jak polski większość znaków to kody 7 bitowe. Gdy
ośmiobitowy to najczęściej postaci 110xxxxx po którym musi być 10xxxxxx
Jeden pomysł to sprawdzenie czy wszystko to się zgadza. Ale wystarczy jeden
mały błąd i tekst zostanie zaklasyfikowany jako nie UTF-8. Należałoby to
także zrobić statystycznie. Ale jak zrobić zależność od poprzedniego bajtu
aby nie robić tablicy wielkości 256^n, choćby 256^2 ale wielkość tablicy
była by niewielka coś 256 do 300 liczb?