Litige centre des impots résidence principale

Mon centre des impots refuse depuis 4 ans d'accepter le caractère de résidence pricipale de ma maison située a 400 km de mon lieu de travail. je déclare me frais réels avec 3 A/R par mois. Je suis logé chez une amie le reste du temps. Je n'ai pas d'autre bail à mon nom. J'ai déjà effectué un recour auprès du conciliateur départemental pour mes revenus 2005 et 2006, ce dernier à rejeté ma demande et j'ai payé. Je suis de nouveau controlé et contesté pour les revenus 2007 et 2008 avec une majoration de 40%. Les impots ont ils le droit de refuser une résidence principale quand celle ci et la seule et unique habitation?, quels sont les recours en justice possible et quelles sont les chances d'un aboutissement?. Merci de vos commentaires sur ce sujet