Restitution de caution ....divorce

Bonjour, je suis locataire depuis 3 ans les loyers ont toujours été payé. Mon propriètaire Mr X n'a pas fait d'état des lieux d'entrée. Nous n'avons rien habimé. Mr X devrait nous rendre la caution car c'est lui notre propriétaire. Sauf que depuis quelques mois il a divorcé et c'est son ex femme qui récupère le bien. Nous n'avons jamais fait de modification de bail et je paie toujours à Monsieur. Nous sommes en préavis. Qui dois nous rendre la caution? Monsieur ou Madame? car il se renvoient la balle, Merci.