Les marins emmenaient ce gâteau lors de leurs campagnes de pêche à Islande car ce gâteau consistant tenait à l'estomac et trempé dans le vin chaud réchauffait les hommes transis de froid.

La légende raconte que vers 1900, dans une boulangerie de Grand-Fort-Philippe, un ouvrier-boulanger surnommé Lulutte vendait cette brioche ronde comme "un cul". Les femmes venaient donc acheter ce gâteau en disant "un cul, Lulutte". C'est ainsi que le "gâteau des pauvres" trouva le nom de Cululute.