Porte de communication avec bureau de mon patron

Je voudrais avoir un conseil pour savoir ce que je dois faire pour résoudre une situation qui me stresse énormément au travail : j'ai depuis peu un nouveau chef de service, mon bureau est voisin du sien et il y a une porte de communication. Le précédent chef fermait toujours sa porte, mais le nouveau laisse la porte de communication ouverte, ce qui me met très mal à l'aise car il entend tout ce qui se passe dans mon bureau ou au téléphone, et j'entends également ses conversations. Je referme la porte souvent mais il la rouvre à chaque fois et je n'en peux plus, ça me rend malade, je trouve que c'est un manque de savoir-vivre de sa part, il devrait me demander si ça ne me gêne pas, surtout que je viens d'être en congé de maladie pendant 5 mois pour un cancer du sein, et qu'il ne me faudrait plus de stress. Cela m'angoisse tellement que j'ai peur d'aller travailler. Dois-je lui en parler directement ? je n'ose pas trop car je suis un peu timide.