RDV médical suite accident du travail refusé par l'employeur

Ayant eu un accident du travail en novembre 2009, je suis toujours en soin. Le centre anti-douleur m'a fixé un RDV que je ne peux changer, le médecin spécialiste ne se déplaçant qu'un jour par mois, le vendredi. J'ai demande par écrit, à mon employeur, de bien vouloir me libérer de mon poste de secrétaire 1h1/2 avant la fin de ma journée, il me le refuse. En a t'il le droit ? Quel est mon recours ? Merci