Modification de permis de construire

Bonjour, Nous nous apprêtons à acheter un terrain avec un PC. Par contre, nous ne souhaitons pas faire contruire cette maison, mais nous voudrions faire des modifications importantes à la façade (non sol) de la maison. Le souci est qu'en posant le PC, la DDE a voulu s'y opposer, mais n'a pas agit assez rapidement, donc le délai est dépassé pour le recours, et le PC valide. Bref, nous avons peur qu'en demandant une modification importante, elle sera refusée et que nous serions obligée de faire construire cette maison quand même (bien trop cher pour nous !). Comment procéder? Merci de nous aider à ce sujet.