Logement non accessible par faute de l'employeur

Bonjour, je fais le ménage habituellement le jeudi chez une dame et parce que c'est les vacances, j'ai pu mettre mon travail au lundi avec son accord. Elle est partie en congés et devait laisser les clés au voisin. Pas su lequel. J'ai les clés de la maison mais pas du portail. J'arrive lundi matin et le portail était fermé à clé ! habituellement jamais, mais comme c'est les vacances et qu'ils sont absents. Et c'est la 1ère fois que cela m'arrive chez eux. Je n'ai pu y faire le ménage comme prévu. En plus cela a engendré des coûts de frais de garde pour mes enfants pour rien. J'ai appelé mon employeur qui au bout de 3 jours m'a rappelée pour me dire qu'il était désolé. Je voulais savoir s'il avait l'obligation de me payer tout de même car c'est de sa faute si logement inaccessible. Je n'ai pas mis de clause à ce niveau-là dans mon contrat, car ne savait pas qu'un jour le cas se présenterait. Si la prochaine fois ils partent à nouveau en vacances et que je crains encore un loupé, puis-je refuser de venir travailler et que cela ne soit pas considéré comme une absence et faute ou un congé forcé ? Merci pour votre aide.