Congés imposés puis refusés

Il y a un mois mon employeur a refusé la période de congès que je souhaitais et m'a imposé de prendre deux semaines en aout. Il n'y a pas eu d'écrits à ce moment là car les fiches de congès 2009 n'étaient pas encore disponibles. Le père de mon fils vivant en angleterre, j'ai donc réservé son billet d'avion et organisé nos vacances. Aujourd'hui, il me demande de changer la date de mes congès à cause du départ d'une personne. Puis-je refuser et partir quand même? Quel est le risque, sachant que je suis encore en cdd jusqu'en octobre?