Refus du CU en tant qu'agriculteur

Bonjour, Je suis agriculteur et propriétaire d'un terrain d'1hectare ou je voudrais y construire une maison avec mon amie. Deux habitations se trouvent à coté de ce terrain donc présence eau, électricité tout près mais le certificat d'urbanisme a été refusé car il se situe "en dehors des parties actuellement urbanisées" et que "le projet se situe sur un terrain qui n'est pas le siège de l'exploitation" De plus je suis propriétaire d'une toute petite maison (70m²), et c'est aussi une cause de refus pour la demande du CU. Le Maire de ma commune me conseille de relancer la demande auprès de la DDT mais je ne sais pas quels sont les arguments que je peux apporter? Si quelqu'un pouvait m'aider! Merci d'avance