Refus de prêt donne après la fin du compromis

Un sous seing signe en juin 2011 avec terme au 15 octobre prorogea le au 30 octobre. L acheteur à fourni un refus de prêt date du 28'octobre et l à donne à mon notaire après le 15 novembre. Nous lui avons demandé par écrit de justifier du de la demande de dépôt de se prêt ( je suppose que c est un refus de complaisance) et il n à pas répondu . À ce titre je demande le non remboursement du dépôt de garantie et il refuse . Que dois je faire? Saisir quel tribunal et comment? Merci par avance