Bail signé à deux comment le casser ?

Bonjour, j'ai signé un contrat de location avec mon concubin. nous sommes actuellement séparés, je voudrais garder l'appartement pour mes enfants et moi-même mais mon ex concubin ne veut pas partir de l'appartement sous prétexte que l'on a signé le bail ensemble et que donc il est chez lui également. La société d'HLM propriétaire me dit qu'il est impossible de l'enlever du bail. Que puis-je faire ?