1、患有乳腺疾病的人
患有乳腺增生、乳腺囊肿等乳腺疾病的人，一般忌食维生素E，特别是患有乳腺癌的人，一定不能吃太多维生素E。
而黑芝麻中维生素E含量很高，对普通人大有好处，但是患有乳腺疾病的人则要注意别吃黑芝麻了。
2、慢性肠炎、经常腹泻的人
黑芝麻油性很大，李时珍说黑芝麻有滑肠的作用，如果你便秘，吃些黑芝麻，可以大大缓解便秘，但是有慢性肠炎或者腹泻的人，吃了黑芝麻后，会加重慢性肠炎尤其是腹泻症状，得不偿失。
3、内热、上火的人
体内有火、有热，经常会出现的症状是口舌生疮、脸红目赤、牙龈肿痛、牙龈出血等，特别是夏天，风热病更易发生。
如果体内有火、有热，千万不能吃炒熟的黑芝麻，因为黑芝麻炒过之后，会变得燥热，会大大加重体内的火热，这些病就别想好了。
4、遗精之人吃不得
根据前人经验，遗精之人当忌食。如《本草从新》中说：“胡麻，精气不固者亦勿宜食。”《本草求真》也告诫：“下元不固而见便溏、阳痿、精滑、白带，皆所忌用。”