Не помогло:

sudo apt-get autoremove 'virtualbox*'

это то же:

sudo dpkg-reconfigure virtualbox-dkms
sudo dpkg-reconfigure virtualbox

Никакие чистки стандартные запуски и прочее. Только ручками к сожалению.

Необходимо в каталоге

 /lib/modules/4.6.0-0.bpo.1-amd64/updates/dkms

Удалить все файлы модулей от предыдущей установки (по дате будет понятно)

vboxdrv.ko vboxnetadp.ko vboxnetflt.ko vboxpci.ko;

После этого переустановить virtualbox. (Не знаю нужно или нет, но dkms уже стоял)