Veille de jour férié CC51

Je travail en internat dans un établissement CC51 fehap et nous somme dans l'obligation re remplir des feuilles de décomptes horaires mensuelles (solde positif en cas d'heure sup. ou solde négatif...) En effet je vous donne un exemple la veille d'un jour férié, mes horaires seraient les suivants 13h15/22h hors l'établissement centrale ferme ses portes à 16 h nous perdions alors 6 h. Je me suis rendu à l'inspection du travail et une réponse m'a alors été apportée (avec texte de loi à l'appui) c'est illégale ou alors l'employeur se doit de nous faire récupérer ses heures dans la journée (sinon c'est perdu pour lui). Actuellement notre employeur veut annualiser tout cela en anticipant les jours fériés et nous faire rattraper ces 6 heures sur la quinzaine qui précède le jour férié, est-ce légal ?