Qui peut retirer la garde parentale lègalement

Je voudrais juste savoir si ayant signer un papier non légalisé, ni validé ( accord tacite entre le papa et moi ), je perd mes droits parentaux légalement.. Pas de jugement.. N'ayant jusqu'ici pas eu besoin de tt ça, vu qu'entente parfaite entre la papa de ma fille et moi même.. Suite à un souci de santé de mon ex, ma fille a ressenti le besoin de se rapprocher de lui.. Elle a emit le désir d'aller vivre chez son papa.. Je me suis renseignée et en Belgique seul un juge peut retirer la garde de ma fille.. Et étant tout à fait normal, rien ne peut jouer en ma défaveur et ai élever ma fille ses 9 premières années et demi.. Elle va avoir 10 ans en Mars