Etat des lieux

Bonjour J'ai déménagé de mon ancien appartement en septembre 2008. Le propriétaire a refusé de faire un état des lieux de sortie alors que nous en avions fait un quand j'ai pris l'appartement. Pour ne pas avoir d'ennui, car il me menacé au tél pour récupéré les clefs je lui ai rendu. A ce jour, il ne m''a toujours pas redonné ma caution prétextant que des travaux avaient dû être effectué dans l'appartement. Je conteste ces travaux car, je l'avais informé de ces problèmes plusieurs fois durant les 2 années avant que je ne parte et il n'a jamais rien fait réparé alors que c'était à lui de le faire (cf état des lieux entrant). J'ai appris par la suite qu'il agissait de même avec tous les locataires. Il en a plus de 40!! Comment puis je récupérer ma caution? Merci de votre aide