Frais supplémentaires modification plan constructeur

Bonjour, J'ai contracté un entrepreneur afin de construire une maison 3 façades sur mon terrain. Le contrat a été signé et le prix établi. Hors, le constructeur vient de remarquer que le voisin, qui sur plan et selon les prescriptions urbanistiques a construit à 6m00, a en réalité construit à 6m20 de hauteur. La conséquence est que nous alors devoir demandé une dérogation du permis pour construire 20cm plus haut avec un coût extra de 4500€ que l'entrepreneur nous facture. Hors, nous avons signé pour un prix déterminé et pour une maison de 6m de haute. Selon la commune, ce qui prime, ce que nous soyons à la même hauteur que le voisin. Mais est-ce vraiment à nous de payer ces frais supplémentaires ou est-ce la faute du constructeur qui aurait dû s'en apercevoir? Pouvons-nous dans ce cas-ci rompre le contrat avec le constructeur en stipulant qu'il s'agit d'une maison différente que celle que nous avion convenu? Merci pour votre avis