Calcul des heures supplémentaires pour personnel annualisé

Bonjour, Je suis adjointe administrative dans une structure de la fonction publique territoriale. Je suis en charge du calcul du temps de travail du personnel annualisé. Leur référence de travail annuel est de 1149 heures (Congé annuel, jours fériés et repos hebdomadaires déduits). Certains agents effectuent des heures supplémentaires tout au long l'année. Pour exemple: un agent a effectué 1200 heures sur une année N au lieu des 1149 prévues, ce qui fait un surplus de 51 heures. L'année suivante j'ai donc déduit ces 51 heures de la référence, ce qui fait 1098 heures pour l'année N+1. Cependant, cet agent réclame la récupération de ces heures en plus de la déduction. Il voudrait donc bénéficier de la déduction des heures sur sa référence annuel et en plus récupérer ces heures au motif que ces heures on été faite en plus et engendrent forcément récupération. Selon moi, il bénéficie de la déduction, donc il n'a pas a les récupérer. Quel est votre avis? Cordialement.