Puis-je déduire moi même le montant des pénalités

Bonjour, Le constructeur de ma maison me réclame 95 % de la somme sans me préciser la date de livraison (prévue nov 2008) et sans soustraire du prix les pénalités de retard. Dans un précedent courrier je lui ai pourtant invité à calculer cette indemnité. Suis je dans mon droit si je déduis les pénalités du prix restant? Je vous remercie par avance pour votre aide. Cordialement