最初的孔府，只有三间简陋的房屋，是孔子的家。孔子离世之后，他的后人弟子，就在旧居里供奉祭祀孔子。
秦始皇统一全国以后，战国时期的“百家争鸣”仍在继续，思想领域极度混乱。
一个健全的国家，必须有一个共同的核心价值观，才能让政治、经济、军事等领域的措施有效施行。
可是在当时，儒家、法家、墨家、名家、道家这五大家的影响力旗鼓相当。
墨家轻视等级秩序，注重种田务农，标榜“民以食为天”。
名家喜好奇谈怪论，注重孤僻诡辩，吹嘘“惟我独尊”。
道家放纵个体的天性，注重人欲身心，强调“人不为己天诛地灭”。
这三家有一个共同点，就是崇尚实用，藐视等级秩序，无视统一安定，这理所当然的，让刚刚统一天下的秦始皇，不能接受，所以最先受到打击的便是这三家。
剩下来的只有儒家和法家。儒家是尊古的，“先王之法，克己复礼”是他们的旗帜。刚刚被消灭的六国遗民贵族，见秦始皇对儒家和法家待若上宾，就纷纷借儒家的“先王之法，克己复礼”，要求秦始皇恢复周王朝的分封制度，妄图重新获得，因战败而失去的特权。
这当然遭到秦始皇拒绝。这些人就打着“克己复礼”的旗帜，到处游说生事。迫得秦始皇以雷霆手段“轻礼仪，重刑法”相对，禁止百姓“以古非今”，用“争鸣”的借口诽谤朝政。
“焚书坑儒”虽然统一了秦朝的思想，在很短的时间，就取得了不错的效果，但终究手段太过激烈，民间非议之声不断。
刘邦夺取秦政权以后，为了获取民心，当然了，主要是“四民之首”“士”的心。他一方面分封刘姓王，同时将儒家的代表人物孔子，给抬了出来。
找到孔子的九代孙孔腾，封其为“奉祀君”，专职代表朝廷，祭祀孔子和护卫孔子的陵墓。
自此以后历代王朝，都将孔子抬得高高的，而抬高的方法，就表现在对其嫡系后裔眷顾备至，优渥有加。
到了宋仁宗至和二年，孔子四十六代孙孔宗愿被封为衍圣公，赐建府邸，称“衍圣公府”。原来的“孔府”成了专门奉祀孔子的“孔庙”。
到了宋徽宗当政，又加封孔子嫡系后人“世袭衍圣公”。元朝虽然短暂中断过“衍圣公”的称号，但是大多时候，还是沿袭了这个称号。
宋元更替时期，更是同时出现过三个“衍圣公”在世，加封他们的分别是元、宋、金国的皇帝。
到了明朝朱棣当政，孔子的嫡系后裔，不仅沿袭了“衍圣公”的称谓，还让“衍圣公”这一称号，达到了荣耀的顶峰，那就是“一品大员，文官之首。”
当然了，“衍圣公”的实际职责，还是没有变，祭祀和护卫陵墓是他们的使命，并不参与管理百官政务，只是曲阜一地的政务由孔家主宰。“设教讲学”算是历代衍圣公们，“静极思动”的调剂。
实际上从汉高祖刘邦以来，历朝历代政治上，施行的都是“名儒实法”。就是表面上采用儒家的观点，教化老百姓，让“循规蹈矩，尊卑有序”成为老百姓行为道德的自觉。实际上却是采用法家的手段，驾驭天下，对违背皇帝意志的人和事，进行血腥地镇压。
孔子的后裔，不过是因为这“帝王之术”的需要，才能在不断更迭的朝代中，世代腾黄，地位显赫。
皇权借助孔府，达到愚民的目的。孔府借助皇权，登上荣誉的巅峰。
在与朝廷互相利用的过程中，孔府成就了“天下第一家”的美名。孔子这位“大成至圣先师”更是深入人心，成了一座无法逾越的高山。