Est ce que je peux annuler mon CCMI????

Je suis en train de faire construire une maison individuelle par un constructeur que je nommerai "XX", nous avons signé un CCMI avec le 10 juin 2010, la promesse de vente le 5 juin 2010,et l'offre de prêt fut signé et envoyer fin juillet 2010. La première demande de permis de construire à était déposé début septembre 2010, refus de cette dernière mi novembre (Déclaration Préalable manquante dans le dossier), le propriétaire faisant ralentir les choses, mon offre de prêt va arrivé à expiration... Est ce que si je perd (conditions suspensive) mon offre de prêt, je pourrais annuler mon CCMI, sans obligation de retrouver un crédit.....???? En gros je voudrais profiter de cette faille pour changer de constructeur, voir de terrain... ??? Merci de vos réponses....