Dziękuję za wyjaśnienia i wskazówki.
Ogarnąłem pilniejsze tematy i trochę pogrzebałem w dokumentacji - i zaraz wyjaśnię to
wyrażenie i podam prawidłowe rozwiązanie w Qt z QRegExp (stare wyrażenia regularne).

"(^\\s)*(\\s+)$"
Należy odczytać tak: początek pliku z pojedynczym białym znakiem może wystąpić zero
lub więcej razy (ten fragment nigdy nie był spełniony), a po nim co najmniej jeden
biały znak przed końcem pliku.
To u mnie działało, gdyż w QPlainTextEdit::document()->find(QRegExp, index)
najwyraźniej to wyrażenie odpala dla każdej linii osobno (chyba dlatego, że każda
linia jest tam w osobnym bloku). Wtedy pierwsza część wyrażenia nie była nigdy
spełniona a druga pasowała (wybierała wszystkie spacje przed końcem linii - bo każda
linia była traktowana jako osobny dokument).


"[ \\t]+(?:\\n|$)"
To jest prawidłowe rozwiązanie. Grupowanie nie jest konieczne, gdyż selekcja tekstu w
zwracanym kursorze (QTextCursor) jaką tworzy QPlainTextEdit::document()->find opiera
się na całkowitym dopasowaniu wzorca, a nie na pierwszej dopasowanej/przechwyconej
grupie. Tak więc: szukam co najmniej jednej spacji lub tabulatora jaka jest przed
końcem linii lub przed końcem pliku. Choć jak pisałem ze względu na specyfikę tej
funkcji find powinno wystarczyć by: "[ \\t]+(?:$)"