Usando deborphan

El comando deborphan puede ser usado para revisar los paquetes deb innecesarios. Por defecto deborphan busca librerías huérfanas, pero también lo puedes usar para otros tipos de paquetes como: paquetes de datos, paquetes dev, etc.

Para instalarlo:

$ sudo apt-get install deborphan

Para remover librerías huérfanas:

$ sudo deborphan | xargs apt-get -y remove purge

Para remover todos los paquetes de datos huérfanos:

$ sudo deborphan --guess-dev | xargs apt-get -y remove purge

Para ver todos los paquetes huérfanos en tu sistema:

$ deborphan --guess-all

Nota extraída de la pagina man de deborphan:
deborphan puede adivinar que paquetes quizás no se estén usando examinando el nombre del paquete. Pretenderá de que el paquete esta en la sección main/libs y lo reporta como si fuera una librería. Este método no es del todo perfecto o confiable, así que cuidado al usarlo.

Por eso es una buena idea mirar la salida de deborphan y estar seguro de que parezca razonable antes de ejecutar apt-get -y remove purge.