Fin de contrat avec logement de fonction

Je suis en cdd avec logement de fonction, je trouve un CDI chez un autre employeur, je donne ma démission et signale mon départ avec 3 semaines d'avance. Mon employeur me demande de revenir après mon départ (la semaine d'après) pour faire l'état des lieux, parce que le jour de mon départ il sera absent. il me dit que le nouvel employeur doit "assumer" et doit me laisser partir! c'est un appart de fonction sans loyer, mais je fais des heures pour payer ce loyer (c'est une des raisons pour laquelle je parts) autre raison c le harcellement perpétuel et la "mise a disposition n'importe quand" du fait d'être sur place. Doit il me faire l'état des lieux le jour (ou avant) de mon départ, ou est il en droit de me demander de revenir? Merci