Nur genutzter RAM ist guter RAM. Viele Systeme belegen erstmal großzügig, geben aber Caches wieder frei, wenn er an anderer Stelle benötigt wird.
Insofern kann man jetzt relativ wenig zu Deiner Situation sagen. 4GB sind allerdings auch nicht gerade üppig.
Du könntest als Start mal die Ausgabe von "free -m" Posten.