Hériter d'une habitation occupée

Bonjour, Suite à un montage tordu de ma grand-mère maternelle, ma mère a hérité d'une habitation dont elle était partiellement propriétaire, l'autre étant la seconde femme de mon frère, sans en avoir l'usufruit. C'était mon frère qui y habitait avec sa seconde femme. A sa mort, ma soeur et moi avons demandé à notre frère de nous racheter les parts nous revenant. Or à la demande de notre belle-soeur, le notaire a appliqué le texte qui prévoit que lorsqu'un des héritiers prend une habitation occupée, il subit un préjudice et donc, en fonction de l'âge de l'occupant, un pourcentage du prix est déduit. Ma soeur et moi avons respectivement eu notre part imputée de 8500 euros. Sur le coup, on a accepté et donc signé mais avec le recul je me dis que le notaire s'est trompé.Car je ne vois pas en quoi mon frère serait un préjudice pour lui-même. Je trouve ce raisonnement plus que spécieux et sûrement à l'encontre de l'esprit de ce texte voulu par le législateur. S'il s'avérait que le notaire s'est fourvoyé et que mon frère refuse de nous rendre l'argent, n'est-il pas à lui, c'est-à-dire la Caisse régionale de garantie, de nous dédommager.