1、虚弱的人：从五行的方面来说，文昌塔是属于阳性的物品，里面蕴藏着巨大的能量磁场，而身体虚弱的人也是不适合佩戴或者摆放，由于这些人阴气很重，长时间使用会造成人体阴阳不平衡，造成自身的运势变低，从而不利于财运和事业运的发展。
2、属虎的人：文昌塔是一种可以旺文旺运的风水吉祥物，但一些属虎的人是不适合使用的，由于属虎的人性格通常比较暴躁，如果佩戴文昌塔，不但起不了什么风水作用，还可能造成运势变低，财运也会下降，严重的还可能会有不好的事情发生。
3、生病的人：一般经常生病的人也不适合使用文昌塔的，由于这些人体内的阴气和煞气很重，如果长时间使用后会造成影响文昌塔的功能，从而造成家里阴阳五行失去平衡，也会削弱自身的运势，对自己的财运和事业运都有很不利的影响。
4、医务人员：一些在医院工作或者经常参加葬礼的人群也不适合使用文昌塔，由于这些地方都是产生浊气的地方，如果使用后会造成阴气和煞气的侵入，从而让使用者在生活中都会出现各种的不顺，事业和爱情都会面临很大的危机。