Reprise travail après 3 ans de congé parentale

Bonjour, la date de reprise de mon travail devait être le 3 novembre 2010. Le directeur étant absent ce jour là ma demandé de reprendre le 4 novembre. Lors de mon entretien avec lui le 4 novembre, je lui est donc réclamer de me payer la journée du 3 novembre. Et là surprise, il me dit qu'il s'est renseigné que c'est un jour de repos et c'est calculé annuellement. A-t-il le droit ? De plus, mes jour de repos sont le samedi et dimanche et le 3 novembre est un mercredi ? Pouvez vous m'aider urgent Cordialement