On Tuesday, January 20, 2015 at 2:45:37 PM UTC+1, M.M. wrote:
> > W pythonie jest bibliotek od cholery, mała szansa, że czegoś nie ma.
> > Poza tym python ma podobną wydajność, jak ruby, czy perl. Javascript
> > na v8 jest szybszy, ale js to słaby język i szkoda na niego czasu.
>
> Mnie się niedawno zamieliły na dysku 3 wersje programu. Prosta
> aplikacja, ale duże xml trzeba do bazy sql przerzucić.
> Gdy schodziłem na coraz niższy poziom, to w 3ciej wersji miałem
> xmle wrzucone do struktury mniej/więcej takiej:
> struct Tag {
> QString name;
> QString tag;
> }
> QVector< QVector< Tag > > xml;
>
> I takie rozwiązanie też nie daje rady. Żałuję że od razu nie
> skroiłem aplikacji na miarę. Nauczkę tego typu mam już któryś
> raz w życiu, ale zawsze jest pokusa żeby użyć czegoś wysokopoziomowego,
> choćby w stringu trzymać inty, aby nie rzeźbić N struktur danych.

Trudno ocenić złożoność problemu bez znajomości struktury XML-i,
rozmiaru danych itd. Do pythona są wrappery na popularne biblioteki
do XML, które są pisane w C, więc tam narzutu pamięciowego nie
ma wiele. Jak robiłeś listy list obiektów na poziomie pythona,
to rzeczywiście mógł zeżreć dużo pamięci.

W mojej poprzedniej pracy mieliśmy skrypt w phpie, który coś wrzucał
do bazy danych. Działał dobrze przez długi czas, aż któregoś dnia przestał.
Okazało się, że na skutek zwiększenia ilości wrzucanych danych zżerał
całą pamięć serwera, czyli kilka GB, i malowniczo zdychał. Po moich
drobnych usprawnieniach w najgorszym momencie zużywał kilkaset MB.

BTW w Pythonie można ograniczyć rozmiar własnych obiektów używając
__slots__, tu dość spektakularny przykład:
http://tech.oyster.com/save-ram-with-python-slots/

w.