Congé parental à temps partiel annualisé

Bonjour, Je suis actuellement en congé maternité pour un 3ème enfant. Je souhaite reprendre à 80% à la suite de mon congé maternité, c'est à dire fin septembre. Ma question est la suivante : Je suis secrétaire médicale titulaire dans la fonction publique hospitalière, et je souhaite pouvoir annualisé mon 80% de congé parental, c'est à dire ne pas prendre une journée par semaine mais cumuler mes jours pour pouvoir prendre les petites vacances scolaires (en fait je prendrai une semaine en congés annuels et une semaine en récup temps partiel). Ceci me permet de pouvoir m'occuper de mes 3 enfants durant les vacances scolaires. Les médecins avec qui je travaille sont tout à fait ok, d'autant qu'il y a toujours un d'entre eux absents pendant ces périodes, mais le problème est que ma direction ne voit pas cela du même oeil, ils réfléchissent, mais ils m'ont déjà dit non une 1ère fois. Ont ils le droit de me refuser ces conditions ? Peuvent-ils m'imposer la manière de prendre mon 80% ? M'imposer un jour dans la semaine si ma demande n'est pas acceptée ? Merci de votre aide.