Résiliation d'un bail

Bonjour, J'ai un immeuble avec plusieurs appartements et j'ai un énorme probleme avec un locataire. Les autres locataires, qui vont finir par appeler la police, se plaignent de ce locataire qui est très bruyant et qui ne veut rien faire pour améliorer les conditions. Lui, sa femme se permettent même d'être vulgaires et d'agresser les autres locataires, même des personnes de leur famille agressent mes locataires. Si cela ne s'arrange pas, s'il ne fait aucun effort, je désire résilier le bail mais je ne sais pas si j'ai le droit. Merci de m'aider et de m'indiquer comment faire. Cordialement