Puis-je annuler l'usufruit ?

Bonjour, Lors de mon divorce avec mon 1er mari, j'ai investi ma part dans l'achat d'une villa. Celle-ci est donc ma pleine propriété. Je me suis remariée il y a un an avec contrat de mariage sous le régime de la séparation des biens. J'ai fait l'usufruit à mon nouveau mari. Seulement je m'apperçoit que notre relation est fragile. Mon notaire ne m'a pas parlé d'une chose importante apparement, puisqu'on m'a dit qu'en cas de divorce je devrais lui donner comme un loyer...Ce que je trouve scandaleux! Je paie seule toutes les factures liées à ma maison: charges, assurances, cadastre. il me verse chaque mois une somme ridicule par rapport aux frais que j'ai. J'aimerais savoir si quelqu'un peut m'aider, je veux annuler l'usufruit tout en restant mariée, malgré tout, je préfère envisager l'avenir autrement, me préserver. On reste quand même libre de faire ce que l'on veut de ses biens propres!?! Merci de votre réponse très précieuse! :)