Aus dem Kommentar kopiert, da er anscheinend zur Lösung geführt hat:
Ich vermute, Sie verlieren etwas anderes als den Speicher, vielleicht Dateideskriptoren. Versuchen Sie es mit netstat oder lsof, um zu sehen, ob es viel mehr offene Verbindungen oder Dateien gibt, als Sie erwarten.
