Construction d'un garage en limite de propriété

Bonjour Nous avons obtenu un accord de permis de construire pour un garage le 1er décembre 2009. Ce garage doit être construit en limite de propriété avec le mur de la maison du voisin. Nous avons commencé les travaux il y a 1 semaine. Le panneau a été posé il y a 1 mois et nous savons qu'un recours par un tiers est possible pendant 2 mois à compter de la pose du panneau. Le garage étant plus haut que la maison du voisin, celui-ci nous menace de déposer une plainte si nous n'arrêtons pas immédiatement la construction. Le bâtiment sera bien sur notre terrain et nous n'altérons en rien la sécurité du voisin, le motif de sa contestation étant que sa maison va perdre de la valeur. La DDE et la Mairie nous ont donné un accord sur cette construction. Le voisin a-t-il possibilité de nous faire retirer le permis même si il a plus de 3 mois ? Les travaux doivent-ils s'arrêter pendant le litige ? Le motif qu'il donne est-il recevable ? Merci pour votre aide.