Dégradations par le locataire: motif de résiliation du bail?

Nous sommes propriétaires d'une petite maison louée à une famille en situation précaire. Les enfants de notre locataire, qui étaient placés au moment de l'entrée en jouissance du logement mais qui semblent aujourd'hui y venir régulièrement alors que la maison est bien trop petite pour les héberger, ont détérioré la porte d'entrée de la location. Nous ne connaissons pas l'état de l'intérieur du logement mais craignons le pire. Outre que celui-ci devient un véritable "squat" et que la porte ne ferme plus, les voisins de la rue se plaignent régulièrement des nuisances de cette famille qui est suivie par un organisme de tutelle et les organismes sociaux de notre ville. Nous avons bien sûr exigé à plusieurs reprises la réparation de cette porte, mais les différents services sociaux et notre locataire se contentent de répondre que cela sera fait (quand ? comment ?...) et cela dure depuis 18 mois.... Tout le monde est au courant de cette situation et de l'urgence de reloger cette famille mais en tant que bailleur privé, nous n'avons aucun droit. Nous cherchons bien entendu à rompre le bail dans l'espoir de récupérer notre logement avant qu'il ne soit complètement saccagé mais les motifs de résiliation semblent très limités. Les loyers sont pris en charge par la CAF et régulièrement versés. Pouvons nous engager une procédure de résiliation au seul motif de cette dégradation et des ennuis que nos locataires causent au voisinage, qui invoque notre responsabilité ? Que peut-on faire ? En vous remerciant vivement de votre aide !