Refus de restitution de dépôt de garantie

Bonjour, J'ai quitté le logement communal que j'occupais le 3 janvier 2009. A ce jour, le maire refuse de me restituer ma caution si je ne remets pas le jardin en état. En arrivant dans ce logement, nous n'avons pas fait d'état des lieux du jardin. J'ai retiré des détritus et installer une rocaille avec pierres et plantes. Dans son courrier, il me demande de retirer ces pierres. Dois-je aussi retirer les plantes et remettre les détritus ? Je vais lui écrire pour lui demander de me restituer la caution. Que doi-je faire s'il refuse ? Merci de votre réponse