Non rstitution du depot de garantie

Bonjour, En avril dernier, mon mari et moi signions un compromis de vente pour une maison de deux ans chez un notaire. A la signature, un depôt de garantie de 5000 euros a été déposé. Nous avions un mois pour présenter un plan de financement. Malheureusement, notre dossier a été refusé par différentes banques (lettre de refus de notre courtier) dans le délai imparti. Nous avons néanmoins refait une autre demande auprès d'un autre courtier et même résulat négatif dans les trois jours suivants. Aussi au vu de ces résultats, nous avons demandé la restitution du dépôt de garantie. Or la réponse du notaire fut la suivante, il ne peut nous rendre cette somme sans l'accord des vendeurs. Celui-ci ayant été très clair lors d'une visite chez nous, il refusait de "nous rendre notre argent en dédommagement du temps perdu !". Le notaire que nous avons rencontré, nous alors précisé qu'il bloquait la vente de sa maison puisque tant qu'il ne rendait pas le depot de garantie il ne pouvait vendre sa maison. Néanmoins, depuis debut septembre, la maison n'est plus en vente et il semblerait qu'elle soit vendue (affichée vendue dans différentes agences, déménagement en cours, etc...). Aussi quel recours avons nous ? Merci d'avance pour votre aide car nous avons l'impression que vendeurs, notaire nous roulent dans la farine !!!