Récupération d'un acompte sur une location non réalisée

Je suis propriétaire et place une annonce pour mettre ma maison en location. Parmi les personnes intéressées, j'en retiens 2 qui me paraissent les plus fiables. - Une de ces 2, Madame X insiste particulièrement pour avoir la location, et vu qu’elle me paraît une personne sérieuse et motivée, je la choisis pour démarrer le bail le 1er juin. - Elle me propose un rendez-vous à son domicile le 21 mai afin de signer un contrat de bail valable pour un an ( 540,00 € / mois ), ce qui fût fait. Elle me propose et me donne un acompte de 500,00 € en espèces. - Je préviens après la signature de ce bail l’autre personne que mon choix ne s’est pas porté sur elle. - Je reçois le 25 mai de Madame X un recommandé me signifiant qu’elle a changé d’avis et qu’elle met fin au bail en cours pour différentes raisons : crainte de voir son loyer passer à plus de 600,00 € suite à l’indexation ( ! ), quid si son fils quitte le domicile ( ? je ne vois pas les implications que cela puisse avoir, ne connaissant pas la situation familiale de celui-ci ( isolé, chômeur, ou…)) - Je fais une proposition de diminution de loyer et de non-indexation de celui-ci durant 2 ans, afin de la re-motiver. - Son fils me téléphone agressivement pour me sommer de rendre immédiatement les 500,00 € (« …rendez l’argent si vous n’êtes pas malhonnête… ») - J’ai du alors trouver un autre locataire parmi ceux que je n’avais pas choisis de prime abord. - Un bail a été conclu le 1er juin avec une personne qui m’a payé le loyer de juin, une partie de la garantie locative ( car elle avait des problèmes de liquidités « temporaires »), et depuis, j’attends toujours les loyers de juillet et d’août sans grand espoir : elle a été mise en demeure, et je vais très rapidement entamer une action auprès de la justice de Paix pour recouvrement et expulsion. L'avocat de Madame X me somme de rendre les 500,00 € sous prétexte que j'ai conclu un autre contrat de bail sinon nous allons en justice. DOIS-JE LES RENDRE sachant que dans le bail il est stipulé : "Contractuellement le preneur pourra mettre fin au bail en cours moyennant préavis de trois mois notifié par lettre recommandée. Si le bail prend fin pendant la première année le preneur est redevable d’une indemnité de 1 mois de loyer." ?