Mon propriétaire peut-il nous traîner en justice?

J'ai quelques soucis avec mon propriétaire et j'aurais besoins de quelques conseils. En avril dernier nous avons, mon mari et moi loué une maison avec jardin. Tout allait bien, propriétaire charmant, l'idéal pour tout locataire. Au mois d'Aout en changeant le papier peint nous nous apercevons que l'encadrement de la porte d'entrée n'est plus du tout isolé. Il n'y pas d'espace "entrée", nous entrons directement dans le salon. Lorsque nous étions assis sur le canapé nous voyions la lumière du jour de cet encadrement de porte. Nous n'avons pas posé de papier peint à cet endroit afin de faire constater au propriétaire. Nous lui signalons donc le souci que nous rencontrons, pas de nouvelles. Nous le rappelons, il dit qu'il s'en occupe. Nous attendons et voyant l'hiver approcher nous devenons insistant. Nous en informons le notaire qui représente le propriétaire, nous rappelons le propriétaire qui promet que la porte sera isolé avant Noel. Rien n'est fait. En attendant, nous avons froid, nous n'arrivons pas à chauffer la maison qui pourtant n'est pas grande et le matin nous avons 17°.Mais nous payons nos loyers Nous décidons donc de quitter le logement. Nous trouvons un autre logement mais qui est libre immédiatement. Nous partons avant la fin du préavis (il restait 2 mois). Nous suspendons le paiement du loyer de la maison à notre départ. Lorsque le notaire nous contacte, nous lui envoyons un courrier dans lequel nous proposons que le propriétaire conserve la caution de 650€ pour paiement d'une partie du loyer dû et nous proposons également de régler 50€ par mois jusqu'à épuisement total de la dette. Lors de l'état des lieux sortant, le propriétaire nous reproche d'avoir mal posé le papier peint, de ne pas avoir entretenu le jardin (entre la neige, le gel et la pluie, difficile de tondre)et qu'il manque un égouttoir, une planche à découpé (que nous avons remplacé par des articles neufs)..... Il menace donc de faire intervenir un huissier,de nous traîner en justice et de procéder à des saisies sur salaire pour les loyers impayés. Il dit que les "dégradations" nous couteront très cher et qu'il a la possibilité de nous faire de graves ennuis A t-il le droit de faire intervenir un huissier et le tribunal alors que nous avons fait une proposition de paiement qu'il refuse ? Peut-il nous facturer les éléments qu'il nous a reproché à l'état des lieux sortant ? (papier peint mal posé, gazon non entretenu, ustensiles de cuisine non d'origine) Je vous remercie par avance des conseils que vous pourrez me donner dans cette affaire très délicate