1、吕不韦玷污了赵太后乃至自己的名声。在秦始皇还没有出生的时候，吕不韦将赵姬献给了子楚。在嬴政出生后，各大诸侯国就在传闻吕不韦是嬴政的亲生父亲。在嬴政即位后，母亲赵太后依然和吕不韦私通。后来，吕不韦担心东窗事发，干脆找嫪毐来代替自己去侍奉赵太后。
2、这嫪毐不仅和赵太后存在奸情，甚至生下了两个儿子，这无疑威胁到嬴政的王权。为此，在镇压了嫪毐势力后，秦王嬴政一并将怒气甩向了赵太后和吕不韦身上。不过，考虑到吕不韦的功劳和求情的人太多，嬴政只是暂时放吕不韦一马。但是，等到事件平息一段时间后，尤其吕不韦的势力逐渐衰弱后，嬴政还是要决定要除掉吕不韦，维护太后和自己的名声。
3、吕不韦的权势已经危害到秦王嬴政的君权。在吕不韦当政的时候，门客三千不乏精英人才，不仅如此，吕不韦还大肆炒作宣扬自己的《吕氏春秋》。在军事上，吕不韦在位积极打击三晋，通过建立东郡来南北分割六国，打破了六国抗秦统一联盟。更为关键的是，辅佐两代君主的吕不韦，早已在政治势力上形成一个庞大的集团。而这个政治集团，让多疑的秦王嬴政更加猜忌了。