La garde de ma fille pendant les vacances scolaire

Bonsoir Après 5 ans de concubinage (4ans ensemble et 1an à distance) je me suis séparée du père de ma fille (4ans) à cause de son abus de canabis et beaucoup d'autres choses... et sa famille ne le résonne pas du tout. Il y a 1an il a acheté avec sa mère une maison à 300km de notre domicile. On avait convenu qu'il profite de sa fille sans soucis 1week end sur 2 et la moitié des vacances et la grand-mère s'en est mélée et du coup je ne souhaite plus lui donner notre fille (les 2 autres frères fument aussi du levé au couché) et en plus mon ex n'aura pas de conges pour les vacances car il a un boulot à plein temps avec un copain depuis peu. Le connaissant parfaitement, je sais qu'il ne verra notre fille que le soir qu'à partir de 20h et plus... et au pire s'il ne bosse pas, il passera sa journée à fumer avec ses potes et ses frères (à38ans) et se lèvera comme il a toujours fait à 12h et ne s'occupera donc pas de sa fille !! Bref, je ne trouve pas logique de lui laisser notre fille s'il ne s'en occupe pas et surtout dans cet environnement pas sein! Est-il possible de ne pas la confier à la grand mère s'il n'a pas de vacance, ou suis-je obligé malgrès qu'il n'ai pas de vacances de la lui donner? Je ne veux surtout pas le priver de sa fille mais je ne veux plus qu'elle aille dans cette ambiance malsaine et qu'il vienne la chercher en voiture alors que je sais pertinemment qu'il fume toujours au volant. La grand mère n'a aucun droit, je crois? Depuis 1an il dormait à la maison et j'ai toujours pris sur moi et fait en sorte que ma fille ne souffre pas, mais là c'est moi qui panique à l'idée de la savoir avec lui. Que puis-je faire? Y a t'il une solution?