Travailler dans délai entre 2 visites d'inaptitude

Bonjour, je suis en arrêt maladie durant encore 4 jours et aujourd'hui j'ai passé une visite médicale où le médecin m'a remis un papier d'inaptitude temporaire à mon ancien poste et m'a donné un rdv dans 3 semaines. Il n'y a rien qui m'empêche de travailler, je ne comprend pas, on m'a dit de prendre des congés. Pourquoi n'ai-je pas droit de reprendre mon travail ? et quels recours ai-je ? merci beaucoup