FP contre indication et changement de poste

Bonjour, La médecine du travail m'a contre indiqué le travail de nuit dans le poste que j'occupe actuellement dans la collectivité. Mon employeur me dit qu'étant inapte aux horaires de nuit, il m'impose un changement de poste. Une contre indication n'est pas une inaptitude, j'ai donc fait un courrier et demandé à passer une contre expertise. Ils me répondent que c'est à moi de demander la contre expertise et maintienne le changement de poste. N'étant pas du tout d'accord avec eux, je vais faire cette contre expertise (de plus j'ai un certificat de mon médecin précisant que les horaires de nuit ne me sont pas contre indiqués. Je veux conserver mon poste mais ils ne veulent rien savoir. Puis je refuser étant donné que je n'ai aucune inaptitude au poste, seulement une contre indication de la médecine du travail. Je risque quoi si je refuse???? Merci de m'éclaircir