Probleme propriétaire ( contrat a titre précaire)

Bonjour, j ai un petit soucis avec mon propriétaire. Au début de la location de leur appartement nous avons signer un contrat a titre précaire car il n'a pas signaler a la commune et a la police qu 'il avait fait un appartement au second étage. donc il nous a expliquer que il ne peux pas faire de bail, que c'était comme si il nous 'offrait le gite' donc ils doivent pas être au courant de payements de loyers. déjà la je suis perdue avec ce genre de 'magouilles'. Tout les mois nous lui versons un loyer. Nous lui avons demandé si notre chat ne le dérangeait pas, il a dit qu il n y avais pas de soucis. maintenant cela fait 4 mois que nous sommes dans cet appartement et il commence a nous "embeter" pour le chat en niant le fet qu il ait accepter les animaux. il nous réclame ensuite une garantie locative, alors qu'on a pas de bail (ce que je ne trouve pas normal) Il nous avait dit que l on pouvait jouir du jardin, et installer des jeux de jardin pour notre fille. ce que nous avons fait et maintenant il nous interdit l acces au jardin car notre tobogan abime sa pelouse!!! nous ne supportons plus ses remarques et ses mots sur la portes ou ses appels et ses visites!! quels sont nos droits ??? je suis enceinte de 6 mois, et je ne serait pas capable de refaire un déménagements dans l immédiat.....merci de votre aide et de vos lumieres sur ce genre de problemes.