Expulsion du locataire d'un gite

Je possède 2 gites mitoyens sur ma proprièté,un de 2 personnes et l'autre de 2/4 personnes.Le locataire du petit me harcèle pour avoir le plus grand sous prètexte que lui est menti sur la dimension(ce qui est faut).De plus,il se s'est manifesté que le lundi après midi alors que l'entrée et la remise des clés était le samedi.Il a loué pour 3 semaines et il me menace de prendre possession du grand gite sans mon accord samedi avant l'arrivée des nouveaux locataires.Je précise que lorsqu'il a manifesté son mécontentement en me traitant en autre de voleur,je lui est proposé de lui rembourser les arrhes et qu'il s'en aille si la location ne lui convenait pas(je rappelle qu'il avait accepté les clés samedi et qu'il paraissait satisfait)Ai je le droit de mettre ce locataire dehors s'il nuit aux autres locataires,s'il m'empeche de travailler ou si son attitude n'est pas correcte?