On 05.04.2023 08:08, Mateusz Bogusz wrote:
> On 04.04.2023 19:16, Piotrek wrote:
>> Nie wiem czy są jakieś oficjalne informacje na ten temat, ale w
>> branżowych ploteczkach sugerowano, że GPT-4 ma o dwa rzędy wielkości
>> więcej parametrów niż GPT-3
>
> Stan wiedzy obu modeli jest bardzo zbliżony, wersja GPT-4 po prostu
> lepiej (w naszym rozumieniu) radzi sobie z odczytaniem intencji które
> kryją się za zadanym pytaniem. GPT-3 też udzieli odpowiedzi na pytanie,
> ale czasami wymaga to lawirowania pomiędzy użytymi w tym pytaniu
> słowami. GPT-4 potrafi też rozumieć obrazy - w sensie np. opisać co na
> nich się znajduje.

Stan wiedzy tak, ponieważ oba modele były uczone na mniej więcej
podobnym zbiorze danych.

Mnie chodziło o to, że współczynników (wagi i progi aktywacji) jest w
GPT-4 o 2 rzędy wielkości więcej, co zapewne ma wpływ również na
wielkość kontekstu, o czym piszesz niżej. Ale mogę się nie znać, bo to
nie moja bajka.

> [...]
> I największą różnicę robi pewnie kontekst - GPT3 (3000 słów) vs GPT4
> (25000 słów) - ale wydaje się że nie jest to ograniczenie modelu, co
> narzucony limit przez twórców, bo wraz z nim wzrasta zapotrzebowanie
> obliczeniowe.
>
> https://www.trustedreviews.com/versus/chat-gpt-4-vs-
chat-gpt-3-4309130
>
>> Tak więc IMHO nie ma się co ekscytować darmową wersją tylko może warto
>> wysupłać te dwadzieścia dolców i wyrobić sobie opinię bazującą na ciut
>> bardziej aktualnej wersji modelu.
>
> Myślę że opinii co do konkretnej wersji to nie ma co wyrabiać, a ogólnie
> do rozwiązania jakim będą "ludzko gadające bazy wiedzy".

Zależy czego się oczekuje. Ja już dość dawno przestałem zawodowo
programować. Tak więc jak potrzebuję sobie odświeżyć wiedzę albo napisać
na szybko kawałek kodu to oba narządka są dla mnie idealne.

Natomiast jak ktoś oczekuje, że mu GPT zaprojektuje i zaimplementuje
coś, co ma - powiedzmy - 3 miliony linii kodu, to pewnie musi jeszcze
chwilę poczekać ...

>
> Na grudzień OpenAI zapowiedział GPT-5 który ma pokazać kolejny przeskok
> jak między 3 a 4. Microsoft po podkupieniu praw do prac OpenAI, podłącza
> je pod swoje usługi Azure, Office 365, Copilot...
>

Zacznie się robić ciekawie w kontekście praw autorskich.

Chyba już pora zaopatrzyć się w chipsy i orzeszki ;-)

Piotrek