推辞，将机会让给了刘邕、阴化、庞延、廖淳等人。
诸葛亮得知后，特意写信劝说他：“你若是为了避开亲族、舍弃贤才，只顾着谦让，反而会让百姓遭受损失，也会让朝廷内外的人不理解你的用意。你应该接受推举，彰显自己的功绩与德行，以此证明朝廷选拔人才的公正与重要。”
蒋琬这才接受了任命，不久后升任参军。
建兴五年，诸葛亮率军进驻汉中，准备北伐曹魏，蒋琬与长史张裔一同留守成都，总理丞相府的一切事务。建兴八年，张裔去世，蒋琬接任丞相长史，加抚军将军，成为了诸葛亮最得力的助手。
诸葛亮一生五次北伐，每次率军出征，后方的粮草筹集、兵员补给、政务处理，全都交给了蒋琬。蒋琬从未让诸葛亮失望过，无论前线战事多么紧张，他总能做到足食足兵，源源不断地为前线输送物资与兵力，让诸葛亮没有丝毫后顾之忧。
诸葛亮曾不止一次地称赞蒋琬：“公琰志向忠诚高雅，是能和我一同辅佐王业、兴复汉室的人啊！”
这份信任，是诸葛亮用一生的识人经验换来的，也是蒋琬用日复一日的勤勉与忠诚挣来的。建兴十二年，诸葛亮在五丈原病逝，临终前，他特意给后主刘禅上了一道密表，明确交代：“臣如果遭遇不幸，朝廷的大事，应当全部托付给蒋琬。”
诸葛亮的死，如同晴天霹雳，让整个蜀汉陷入了巨大的恐慌之中。
朝野上下，人心惶惶；军中将士，惴惴不安；曹魏与东吴，更是虎视眈眈，随时准备趁虚而入。蜀汉本就国力弱小，失去了诸葛亮这根顶梁柱，仿佛随时都会崩塌。
就在这危如累卵的时刻，蒋琬挺身而出，接过了诸葛亮留下的重担。
他先是被任命为尚书令，不久后又加行都护、假节，领益州刺史，升任大将军、录尚书事，封安阳亭侯，成为了蜀汉的实际执政者。
面对满朝的忧虑、四方的危机，蒋琬却表现得异常镇定。他身居百官之首，既没有因为身居高位而面露喜色，也没有因为局势危急而面露悲戚，言行举止，和平日里一模一样。
他不慌不忙地处理政务，安抚人心，整顿军务，有条不紊地化解着一场场危机。原本惶恐不安的百官与百姓，看到蒋琬如此沉稳，心中的不安渐渐消散，蜀汉的政局，也渐渐稳定下来。
这份临危不乱的气度，这份处变不惊的定力，远比千军万马更能安定人心。
蒋琬执政后，并没有照搬诸葛亮的执政方略，而是根据蜀汉的实际情况，制定了一套“安民为本、稳中求进”的治国策略。他深知，经过诸葛亮多年的北伐，蜀汉国力损耗严重，百姓疲惫不堪，此时最需要的不是穷兵黩武的北伐，而是休养生息、积蓄力量。
他减轻百姓赋税，鼓励农耕生产，恢复手工业与商业，让蜀中百姓渐渐从战乱的疲惫中恢复过来；他整顿吏治，摒弃繁琐的形式主义，重用贤能之人，让蜀汉的官场变得清明高效；他对待同僚，宽厚大度，不计较个人恩怨，用包容之心凝聚人心。
东曹掾杨戏，生性孤傲简略，不爱与人客套，蒋琬和他谈论政事，他时常沉默不应。有人便在蒋琬面前挑拨离间，说杨戏傲慢无礼，无视上司，应当严加惩处。
蒋琬却笑着说：“人心不同，就像人的容貌各不相同一样。当面顺从、背后非议，是古人所告诫的行为。杨戏若是想赞同我的话，并非他的本心；若是想反对我的话，又会彰显我的过错，所以他才沉默不语，这正是他的直率之处啊。”
还有督农杨敏，曾当众诋毁蒋琬，说他做事昏庸糊涂，远远比不上前人诸葛亮。有人将这番话告诉蒋琬，主管官员请求将杨敏抓起来治罪，蒋琬却摇了摇头：“我确实比不上前人，没有什么可以治罪的。”