遣别骑占住仓亭津，陈宫军不能得渡。程昱至东阿时，东阿令枣祗已经率吏民拒城坚守。又有兖州从事薛悌与程昱协谋，终于守住三城，以待曹操。曹操归还，执程昱之手道：“若非程卿之力，吾无所归矣。”于是表程昱为东平相，屯于范县。
兴平元年（194年），曹操与吕布在濮阳交战，数度失利。又有蝗虫灾害，于是双方引兵暂去。袁绍于是使人游说曹操连和，希望曹操能迁居于邺城。当时曹操眼见兖州新失，军粮又将尽，计议之下正想答应袁绍要求。程昱见事，向曹操言道：“窃闻将军想遣居迁邺，与袁绍连和，有这样的事吗？”曹操说：“是的。”程昱劝谏：“我认为将军您只是一时临事而惧，否则又怎会如此不深思熟虑？袁绍据有燕、赵之地，怀并吞天下之心，可是其智不能济其事。将军自以为能在他底下做事吗？将军您有龙虎之威，可以做韩（信）、彭（越）他们这样臣服于他人的事吗？如今兖州虽残，尚有三城可守。能战之士，不下万人。以将军的神武，加上我和文若（荀彧字）等人的协助，并收城池士兵而加以运用，那么霸王之业可以成就了。希望将军能慎重考虑一下！”曹操才放弃连和袁绍的想法。
汉献帝定都许县后，以程昱为尚书。其时兖州尚未绥抚停当，于是又以程昱为东中郎将，领济阴太守，都督兖州事。
建安三年（198年），刘备失去徐州，前来归附曹操。程昱劝曹操杀刘备，曹操不听。
建安四年（199年），曹操派遣刘备至徐州截击袁术，程昱与郭嘉向曹操道：“明公前日不除掉刘备，如今更向他借兵，他必定会有异心的。”曹操后悔，但已追之不及。果然，袁术病死后，刘备去到徐州，杀车胄，举兵背反曹操。
建安五年（200年），程昱迁为振威将军。当时袁绍在黎阳将移兵南渡，而程昱却只有七百兵守着鄄城，曹操知道危急，命人告诉程昱，欲加二千兵前往鄄城助守。程昱不肯接受，说道：“袁绍拥兵十万之众，自以为所向无前。他若见我领兵少，必不敢轻易来攻。但如果增加了我的士兵，过多则不可不攻，要攻之必克，只会两损其势。愿公不要怀疑！”曹操从之。袁绍闻程昱兵少，果然不敢进兵。曹操闻其事，向贾诩道：“程昱的胆略，超过孟贲、夏育啊。”
建安八年（203年），程昱纠合一伙山间民众及亡命之徒，得精兵数千人，于是引军与曹操会师黎阳，讨伐袁谭、袁尚。曹操使李典与程昱等以船运军粮。会和魏郡太守高蕃将兵屯河上，断绝水道，曹操对李典、程昱说：“若船不得过，下从陆道。”李典与诸将议曰：“蕃军少甲而恃水，有懈怠之心，击之必克。”程昱亦以为然。遂北渡河破高蕃，水道得通。二袁破走后，程昱拜为奋武将军，封安国亭侯。
建安十三年（208年），曹操南征荆州，刘琮投降，刘备奔江吴求助。有人认为孙权必杀刘备，程昱却料道：“孙权新任在位，尚未为海内所忌惮。而曹公无敌于天下，初举荆州，威震江表，孙权虽然有谋，亦不能独自抵挡。刘备则向有英名，关羽、张飞皆是万人之敌，孙权必定援助他们以防御我军。之后分道扬镳，刘备已得到实际资助，那孙权又不能得之而杀了。”孙权果然补给军兵与刘备，以抵御曹操。
攻取荆州后，中原之地大致平定，曹军势力逐渐扩充。一次，曹操抚着程昱之背说道：“当初兖州之败，若非听从你的计谋，我又怎可以来到这里呢？”程昱答道：“所谓‘知足不辱’（出自《道德经》第四十四章，指一个人只要懂得知足，就不会因为过份的贪婪而得到屈辱的收场），如今是我急流涌退的时候了。”于是正式表示从此缴还兵权，阖门不出。
建安十六年（211年），曹操征讨韩遂、马超时，曹丕留守，又使程昱参知