Remboursement caution

Locataire d'un appartement en Poitou Charentes, j'ai été amené à faire des travaux de rénovation en accord avec la propriétaire qui m'a remboursé les frais. Un état des lieux avait été fait à mon entrée dans les lieux. Suite au décès de la propriétaire, l'appartement a été racheté par un nouveau propriétaire qui n'a fait que visiter l'appartement (pas d'état des lieux fait lors de son achat alors que les travaux avait été fait). Lors de mon départ de cet appartement (avec son accord verbal, le délai de préavis avait été ramené à deux mois à la place de trois mois car mon épouse devant se faire opérer avec convalescence longue en région parisienne) aucun état des lieux n'a été fait et signé (une représentante d'une agence immobilière était pourtant là en compagnie du propriétaire lors de mon départ). Après plusieurs relance de ma part pour remboursement de la caution, le propriétaire fait état de travaux effectué (remplacement de carreaux légérement félé inscrit dans l'état des lieux, remplacement d'un carreau de faience, rabottage de portes qui ne fermaient pas bien). N'ayant pas signé à la sortie un état des lieux, puis-je contester les travaux ?