Annuler location dont le bail n'est pas signé

Bonjour, J'ai visité un appartement il y a peu de temps. A la fin de la visite, l'appartement m'interessant, j'avais décidé de le prendre. Seulement j'ignorais alors qu'il fallait payer deux mois de caution, car il s'agissait d'un meublé (je croyais que c'était un mois pour tous les logements). Avec des hésitations, nous avons quand même décidé de conclure l'affaire, j'ai donc remis au propriétaire deux chèques pour la caution et un pour le loyer de juillet, le soir même, en fin de journée. Le lendemain matin, ayant fait mes comptes, j'ai réalisé que je ne pouvais absolument pas payé le deuxième mois de caution, que cela me mettrait dans une situation de découvert bancaire, j'ai donc rappelé à 7h30 le propriétaire pour lui demander s'il était possible de tout annuler. Il m'a répondu qu'il me recontacterait le lendemain, mais qu'il n'y avait pas de soucis, que l'on pouvait annuler. Il ne m'a par la suite pas rappelée, et, deux semaines après, j'ai reçu un mail de sa part me disant que, pour les frais d'annulation (frais de perte de loyer, annulation d'annonces publicitaires et frais de rédaction du contrat de location ainsi que des pièces nessaires constituant votre dossier), il me réclamait 120€. Je précise que je n'ai rien signé du tout, je lui ai simplement donné le RIB, la carte d'identité, et l'avis d'imposition de mon garant, ainsi que les trois chèques, et lui m'a juste fait un papier avec marqué que je lui avais bien payé le loyer de juillet. J'aimerais donc savoir si ces frais, qui me paraissent exorbitants sachant que je lui avais donné les cheques le soir et que le lendemain matin à la premiere heure je le recontactais pour lui demander d'annuler, sont vraiment légitimes ? A t il vraiment le droit de me demander ça alors que je n'ai rien signé ? En plus de ça, j'ai fait opposition aux chèques que je lui avais donnés, car il m'a proposé de retirer le mois de juillet et de me rembourser par chèque la différence, et cela ne me conviendrait pas du tout. Je précise également que le propriétaire est le gérant d'une SCI.