apt-get install xorg

Esto debe instalar el servidor gráfico completo sin cliente (ni escritorio, ni ligero, ni ná)