Doit-on m'imposer de prendre des congés après un arrêt malad

Je suis fonctionnaire territorial. J'ai été en arrêt maladie durant les mois de juin, juillet et août 2012 pour dépression. Je viens de reprendre le travail sur les conseils du médecin traitant et du psychiatre. Ma responsable hiérarchique m'oblige à prendre les congés d'été que je n'ai pu prendre avant le 31 décembre et en dehors des congés scolaires. Elle souhaite que je m'absente pendant 4 semaines à suivre. J'ai refusé. Peut-on m'imposer de les prendre sous peine de me les supprimer ou ai-je le droit de bénéficier d'un report exceptionnel en 2013 ? Merci pour la réponse.