Pose d'une clôture bois sans accord

J'ai acheté une maison mitoyenne il y a 1 an. Mon voisin a cloturé il y a plus de 30 ans sa parcelle par un muret de soutenement en parpaings surmonté de cloture grillage sur poteaux ciment. Pendant la mise en vente de la maison, ce monsieur a ajouté en plus, sur notre parcelle, des panneaux bois affreux (style cagette de supermarché) afin de cacher la vue. La pose de ces panneaux n'ont pas fait l'objet de demande de déclaration de travaux auprès de la mairie, ni auprès des batiments de france (car nous y sommes soumis). De surcroît, j'ai consulté la mairie et les batiments de france qui m'ont confirmé qu'il n' avait pas eu d'accord et que ces panneaux ne sont pas conformes aux règles d'urbanisme du secteur. Ce dernier ne veut rien entendre et la mairie se dit prête à fermer les yeux là dessus alors que moi, je dois faire de multiples demandes de DP pour la rénovation de ma maison avec affichage de panneau pour le respect du droit des tiers. Que dois-je faire, quel recours ai-je, puis-je demander une régulariation de situation sachant que ce n'est pas conforme, puis je demander une démolition et vers qui s'adresser puisque la mairie se dit prête à fermer les yeux. Petite précision : ce monsieur est greffier de justice à la retraite et nous assomes en permanence d'articles du code civil. Merci de m'aider.