La questione e` spinosa, e la risposta e`, ovviamente, dipende.
Da cosa? Da come vengono gestiti i runlevel nella distribuzione: primo, perche` non tutte le distro hanno i runlevel, secondo perche` ognuna li gestisce a modo suo.
Comunque, da questo indirizzo (http://www.debianadmin.com/debian-and-ubuntu-linux-run-levels.html) vedo che il default di ubuntu e` il 2, mentre 3, 4 e 5 sono configurabili, quindi devi sceglierne uno, togliere il servizio che fa partire X e sei a posto.
A questo punto la domanda e`: a cosa ti serve, e quanto frequentemente?
Se e` una cosa che ti serve di rado basta fare il boot interattivo e non far partire X, altrimenti devi farti una voce di grub apposta.