Annulation d'un permis de construire

Bonjour, Nous avons signés un compromis de vente. Nous avons acheté le terrain à deux et voudrions faire construire 2 maisons jumelées par le garage. Dans le compromis de vente est précisé que c'est un seul permis de construire qui doit être délivré pour un bâtiment et 2 unités. Le terrain fait 1 000 m2. Le problème c'est que lors du dépôt du permis de construire à la Mairie, ils ont refusé le dépôt d'un seul permis donc nous avons déposé 2 demandes de permis de construire. Au bout des deux mois, ils ont été accordé mais le notaire a dit que cela n'était pas légale et qu'il nous fallait qu'un seul permis de construire et que la Mairie s'était donc trompée et aurait dû accepter le dépôt d'un seul permis de construire comme cela était prévu initialement. Donc il faut que l'on redépose un seul permis de construire pour un bâtiment et 2 unités. Mais voilà, le notaire nous a dit qu"il fallait que l'on écrive un courrier à la Mairie pour leur demander l'annulation des 2 permis. Mais notre entrepreneur nous a dit qu'il ne fallait surtout pas faire ça parceque cela annulerait nos closes suspensives du compromis de vente et les vendeurs pourraient ainsi annuler la vente et nous réclamer 30 % du terrain. Est-ce que c'est vrai ? L'entrepreneur nous a dit qu'il allait déposer le permis de construire sans annuler les 2 autres. Merci pour votre réponse