Risque d'impôt sur plus-value résidence

Bonjour, J'ai quitté en 2007 mon travail sur Paris pour un autre à Marseille. Nous (ma femme et moi) avons gardé notre maison à Paris, qui est notre propriété depuis 2002, et nous louons un appartement à Marseille. Nous allons souvent en week-end dans notre maison de Paris, nous ne l'avons jamais louée, nous payons nos impôts à Paris, et nos enfants continuent de l'occuper de temps en temps. Mais nous pensons à la vendre; si nous vendons cette maison, compte tenu du fait que nous passons malgré tout la plupart de notre temps à Marseille, est-il possible que le fisc considère qu'elle n'est plus notre résidence principale et impose la plus-value ?