Ai je droit à la prime de panier si je ne souhaite pas rentrer le midi

Bonjour, ouvrier du bâtiment, je ne souhaite pas rentrer le midi chez moi pour déjeuner, je préfère manger dans les locaux de l'entreprise qui dispose d'une petite cuisine. Mon employeur doit-il me payer une indemnité de panier ? Lui dit que non puisque c'est moi qui décide de ne pas rentrer. merci de votre réponse