Чистить надо домашнюю папку home соотв. юзера. А ненужные приложения удалять либо через центр приложений или Синаптик либо руками через apt.

Чтобы просто мусор вычистить (вместе с кешем aptitude):
1) sudo apt-get autoremove
2) sudo apt-get clean