Garde des enfants dans un couple pas marié

Bonjour, je suis séparée de mon concubin depuis janvier2011 ont a eu deux enfants et il m'a laissé la garde exclusive mais ce n'est pas passer en justice. depuis quelque temps c'est sa première filles (d' un autre mariage) qui gère ses papier et lui monte la tête en lui disant qu'il paye de trop et j'ai peur qu'elle lui monte la tête pour qu'il demande la garde des enfants. car a part insulter notre fils (ex:vérole de merde, enculé, pti con...) ou bien alors dire que si c'était lui il le claquerait sue le mur car il n'a aucune patience, il s'en ai jamais occupé; une fois il m'a avoué avoir failli jeter sa première fille par la fenêtre car in ne supportait pas . de plus il a la poly artrite donc difficulté a se bouger et des traitement qui le fatigue. notre fils étant très turbulent et coléreux il serait dangereux de lui laisser car vu son manque de patience il péterait vite un câble et qui sait ce qu'il ferait.donc j'aimerait savoir que faire pour qu'il n'ait pas la garde pas au cas ou il l'a demanderait? ça me fait trop peur ils sont petits ils pourrait pas se défendre (10mois et 2ans et demi) merci d'avance pour vos conseils