Comment résilier un contrat de caution solidaire ?

J'ai signé un contrat de caution solidaire à durée déterminée (bail de 6 ans renouvelable). Le contrat m'interdit de demander au bailleur de poursuivre d'abord le locataire avant de s'adresser à moi. Le bailleur, à plusieurs reprises, m'a obligé à payer lvia les huissiers le loyer à la place du locataire. Le lecataire est pourtant riche mais préfère ne pas payer puisqu'il est conscient que je serais saisi par les huissiers à payer à sa place. A plusieurs reprises j'ai dû demander le remboursement. le locataire me rembourse toujours mais après beaucoup de difficultés pourtant il est riche. Que faire pour résilier un contrat de caution solidaire avec un locataire de mavaise foi?