Plue value sur ma résidence principale

Bonjour, j'ai acheté une maison en 2006, il y avait une grange attenante à la maison, en 2010 j'ai aménagé cette grange de façon à avoir un lieu de vie en plus. 2 chambres un salon, toilettes. J'ai demandé à un architecte de prendre le chantier en mains. Il a demandé une autorisation de travaux à la mairie. (Modification de facade d'une maison). La fin des travaux s'est faite en juillet 2010. Par la suite, nous avons du mettre en vente cette partie refaite de notre résidence principale. Elle a été vendu en janvier 2011. Jusqu'à la cession, elle était considérée comme faisant partie de notre résidence principale. En 2014, les impots me réclament une plus value sur la vente de ce bien considérant que j'ai vendu une résidence secondaire, que dois je faire car la somme qu'il me réclame est pour nous très importante. Nous ne pouvions pas imaginer cela. Merci de me répondre