Вот такой командой можно повысить приоритет Xorg:
sudo renice -n -5 $(pidof X)
где чем меньше значение (в данном случае это -5) тем выше приоритет (минимум -19).
Для автозапуска заносим эту строку в файл /etc/rc.local до строки exit 0.
Радуемся, пьём коньяк.