Prélèvement avantages en nature gardien d'immeuble

Bonjour, Je suis gardien d'immeuble, catégorie B niveau 2 depuis. Je suis donc logé mais je paye mon eau chaude et mon électricité, la loge ne dispose pas du gaz. La surface de la loge fait 30 m2. Suite à une régularisation survenue par erreur, j'ai contrôlé mes fiches de paies depuis mon embauche concernant les avantages en nature. Cette vérification montre que mon employeur m'a retiré ces avantages en nature (eau chaude, électricité, gaz et 45 m2 de loge au lieu de 30 m2) depuis mon embauche et pendant 65 mois, soit plus de 5400 €. Mon employeur reconnait verbalement qu'il y a eu un "plantage", corrigé depuis d'ailleurs sans rétroactivité, mais pense qu'il y a prescription et que je ne peux pas réclamer. J'ai pourtant dû payer mes impôts sur cette somme et le défaut de celle-ci m'a obligé à souscrire un crédit dont le montant correspondait d'ailleurs à peu près à ces 83 € retirés à tort tous les mois. Pourriez-vous me dire si je peux avoir un recours et, si oui, auprès de qui puis-je m'adresser ? D'avance merci. Cordialement,