1、设立时间不同：国子监是中国隋代以后的中央官学，为中国古代教育体系中的最高学府；同时作为当时国家教育的主管机构，隶属礼部。翰林院从唐朝开始设立，初时为供职具有艺能人士的机构。
2、功能不同：国子监具有一定程度的监国功能，可以弹劾官员和国政。尽管这功能自宋朝以后已不甚明显，而国子监自创建以来最明显的三个功能则是：协助国家举行科举考核；负责对国家最优秀学子的教育工作；规管士子的德行、操守。自唐玄宗后，翰林分为两种，一种是翰林学士，供职于翰林学士院，一种是翰林供奉，供职于翰林院。翰林学士担当起草诏书的职责，翰林供奉则无甚实权。晚唐以后，翰林学士院演变成了专门起草机密诏制的重要机构，有“天子私人”之称。在院任职与曾经任职者，被称为翰林官，简称翰林。
3、历史演变不同：国子监作为古代中国的最高学府，在先秦以前，周代称辟雍，虞舜时称上庠，五帝时称成均，汉以后称太学。隋朝以后称国子监，清末废除科举制度，国子监撤销。翰林院宋朝后成为正式官职，并与科举接轨。明以后被内阁等代替，成为养才储望之所，负责修书撰史，起草诏书，为皇室成员侍读，担任科举考官等。地位清贵，是成为阁老重臣以至地方官员的踏脚石。