Démolition et reconstruction

En 2011,j'ai hérité d'une maison trés ancienne,voir vétuste tenant à un ancien atelier de mème trés vétuste.Etant sur mon corps de ferme 69 ans et suite à un accident,nous avons décidé le vendre,et reconstruire. Aprés plusieurs devis ,les conseils m'étaient donnés par des entreprises sérieuses de la démolir et en construire une neuve,et éviter de faire beaucoups de frais et rester avec une maison humide,et actuellement aucune isolation. Tenant à cet atelier, j'ai donc avisé ce propriétaire de notre projet,et avant travaux,fait passer un huissier, constat sur ce mur mitoyen chez lui et chez moi,constatant les défauts avant démolition. Aprés démolition il m'a accusé d'avoir fait de gros dégats sur ce mur mitoyen,chez lui. Un constat à de nouveau été fait,ou nous avons découvert AUCUN DESORDRE. Aujourd'hui il me reproche de ne pas lui avoir demandé l'autorisation de démolir ma maison. Ma question,étais je tenu à cela Avant démolition,il était bien informé par moi mème et huissier. Merci