胡亥对赵高，有着高度的信任，根本没想到要除去他。赵高凭借这一份信任，慢慢铲除异己，掌握朝政大权。
胡亥的这份信任甚至到了，大臣弹劾赵高的时候，他写信劝大臣，不要这么对赵高有意见，大家好好西西。
信件内容记载于《史记.李斯列传》，“朕少失先人，无所识知，不习治民，而君又老，恐与天下绝矣。朕非属赵君，当谁任哉？”这里的“少失先人”可以理解为始皇帝的离世，也可能包括母亲的早逝。因此，我们可以理解始皇帝特别宠这个小儿子可能是因为娇妻早亡，也可以理解何以二世时期没有太后势力的情况。
胡亥与赵高的关系，呈现出复杂的君臣、师生、亲友的性质，甚至就是父子的情节。这种绝对的信任，常人是不会出大事，但胡亥是帝王，就容易出事。
比如，他诛杀兄弟姐妹，断绝亲情的行动，就是听赵高的。他本有意释放蒙毅，并重新启用，赵高反对，他就放弃了。他身居宫中，却不见群臣，让赵高代替自己与群臣联络，视赵高为自己的唯一代理人。
“指鹿为马”是一个大家熟悉的故事，但是从胡亥和赵高的特殊关系来看待，又有了一丝耐人寻味的味道。在绝对的信任中，胡亥已经变成了一个盲目的傻子，不仅没有执政的能力，也失去了常识。
秦末农民起义，天下动乱。巨鹿一役，秦军主力被消灭，起义军逼近关中。赵高发动政变，命令弟弟郎中令赵成（宫廷警卫大臣）、女婿咸阳令（咸阳地方长官）领军入宫，逼迫二世自杀。他知道是老师赵高要自己死，但是只求见赵高一面，没有得到满足，只求活命也不得，唯有选择自刎而死。让人不禁感叹，他的一生如此信任赵高，即使死到临头，也没有改变对赵高的依赖。
胡亥登上帝位，不是没有机会铲除赵高，而是压根没想铲除赵高。