Peut-on rendre caduque un constat d'huissier?

Notre voisin du dessus à fait venir un huissier le 8 Aoùt pour constater que nous n'avions soit disant pas entamé nos travaux de construction alors que le permis de construire expirait le 6 juin. Pour faire cette constatation l'huissier à du rentrer sur notre terrain alors que nous n'étions pas là et que nous n'avons eu aucune annonce de sa venue. Il a donc fait une violation de domicile en notre absence. Nous avons vu les photos qu'il a prises et 2 d'entre elles n'ont pu être faite que en pénétrant sur notre propriété. Pouvons nous contester son constat à cause de ça? Pouvons nous porter plainte pour violation de domicile? Avons nous des chances que ce constat soit invalidé par la justice? Il faut savoir que si il n'avait pas pénétré illégalement sur notre terrain, compte tenue de la configuration des lieux, il ne pouvait en aucun cas voir si des travaux avaient commencés sur la totalité du terrain. + marche à suivre pour poursuivre. Merci