Déduction intérêts emprunt

A l'été 2007, nous avons terminé la construction de notre seule résidence. J'ai posé la question aux impôts pour avoir si je pouvais bénéficier des avantages liés à la résidence principale, sachant que j'allais l'occuper dans moins de 5 ans ( réponse négative). En décembre 2011, j'ai pris ma retraite et le statut de notre résidence est passée de facto de secondaire à principale, puisque j'occupais un logement par nécessité absolue de service. A la lecture de la déclaration d'impôts, il est fait mention de déduire les intérêts pour les logements neufs acquis du 6.05.2007 au 30.09.2011, ce qui était mon cas. Le centre des impôts me refuse cette déduction puisque le logement était "considéré" comme secondaire à l'époque... Que puis-je invoquer comme article de loi de finance pour bénéficier de cette déduction ?