Annuler un bail sans signature

Bonjour, J'avais l'intention d'emménager dans un studio, j'ai payé en espèce la caution et le premier mois qui n'a pas encore commencé. Cependant, je n'ai pas encore signé le bail, ni moi ni mon garant d'ailleurs. J'ai donc changé d'avis, le studio est mal isolé, il fait un froid terrible mais avec le chauffage à fond. Est-ce que j'ai le droit d'annuler le bail, sachant que je n'ai rien signé? Et par la même occasion récupérer mon argent c'est-à-dire, la caution et le loyer? Merci d'avance.