Nie znam się na implementacji transakcyjnych baz danych, ale się wypowiem:

> mam coś takiego jak klucz główny, w najprostszym przypadku będzie to
> liczba 64-bitowa, czyli 8 bajtów, ale klucze mogą być różnej długości i
> kluczem może być napis, który odczytujemy od lewej do prawej.
> Aby nie było konfliktów z kluczami liczbowymi i napisowymi,trzeba jednak
> wybrać Big Endian.

Spadek prędkości będzie tylko przy zapisie. Przy pobieraniu danych będzie trzeba też
konwertować parametry zapytań.

> Druga sprawa: dostęp do rekordu jest bardzo szybki o ile jest on w
> pamięci, ale wiadomo że wszystkiego nie będzie w pamięci, jak sobie w
> takim przypadku radzić?

A słyszał Ty o "wyszukiwaniu zewnętrznym" i B-drzewach?!? W starej książce "Algorytmy
w C++" Roberta Sedgewicka wydanej w Polsze 1999 przez wydawnictwo RM jest na końcu
rozdział (16) o tym.

> Trzecia rzecz: zamiast jednego programu Exe, należało by rozbić na
> serwer i klienty. Jak by mogły się komunikować zwłaszcza na różnych
> komputerach w obrębie sieci lokalnej? Co użyć? może Kafkę?

Protokół musisz wybrać lub zaprojektować sam...

W każdym razie: powodzonka - bo bardzo się przyda...

Szyk Cech