L'O.N.F. peut-elle annulée un P.C. déjà attribué?

Bonjour, Je viens d'acheter un terrain constructible situé en limite de forêt domaniale en cette fin d'année 2011. Celui-ci est issu d'une division de parcelle et a été borné comme il se doit par un géomètre expert. Celle-ci a été validé par un huissier. J'ai obtenu un permis de construire pour cette parcelle en fin d'année 2011 également. J'ai apposé sur celle-ci l'affichage de permis de construire le 21 décembre 2011. Bref tout a été fait dans les règles de l'art en matière de dépôt, attentes légales, demandes, vérifications etc... Hier, vendredi 16 mars 2012, l'O.N.F., mon principal voisin m'avertit de 2 faits: -Le premier concerne le bornage: l'une des bornes mitoyenne entre eux et ma parcelle n'a pas souffert d'un P.V. contradictoire et semblerait sans valeur administrative. -Le deuxième concerne le permis de construire: Selon l'O.N.F., ils n'ont pas été sollicité lors de la demande du permis de construire par la D.D.E. et suite à cela et aux regards de ce permis ils m'interdise de commencer les travaux! Inutile de vous dire que je suis à un mois de tout commencer! Inutile de vous dire que tous les artisans et corps de métiers sont planifiés! Inutile de vous dire que la saur, erdf et veolia sont eux aussi sollicités voir pour la plupart déjà honorés financièrement! Bref, l'O.N.F. peut-elle obtenir gain de cause, à savoir détenir le pouvoir de bloquer mon projet immobilier, face à une procédure établie dans les règles administratives et temporelles? MERCI d'avance de vos aides. Salutations cordiales.