Han har været en del af deres inderste cirkler – nu udpeger han partiets største problem: »For Venstre ville det være forfærdeligt«