，他的儿子宇文化及宇文智及都掌有兵权，且都深受杨广的信任。他说话中气足有底气，他笑道:“御林军随时听命，听皇上指派，俺护驾就是了。”
在杨素心中，现在与宇文述同朝为官，将来必成对手。他曾为太上皇杨坚的丞相，在杨广夺得太子位又逼父退位的过程中，他与其弟杨约暗中相助，所以他现仍为丞相，他也是实力派人物，他说话同样底气十足。不过，他喜怒不行于色，他望望左丞相刘小文，然后说:“咱们为臣子的，要想皇上所未想，为皇上分忧。”
刘小文个头小，为人文弱，态度温和，这时他抬头用手一指，意思是皇上要说话了。这时，杨广说:“各位爱卿，你们先看这张图，雄伟壮观吗?”虞世基与马守忠举着《西苑图》，众人向前几步观看，纷纷议论。杨广高声道:“虞大夫，你们把图卷举高一点!”
文武大臣们见图上所绘是从未曾见过的胜景，赞美声一片。杨素道:“陛下，何时迁都，望陛下早日颁旨，臣子们好做准备。”
杨广说:“明日，朕去洛阳西苑瞧瞧，你们在这里好好守着，照常办事，呈报用快马送洛阳。”说完，他与肖后交换一下眼色，他俩会心一笑，昨夜他俩观看了《西苑图》，想像那里如天堂一般，恨不得立即迁都去东京洛阳，连夜走人。他两人商量到子夜，认为迁都是举国大事，不可伸张，以免带来意想不到的后果。他俩决定，明日就去洛阳，只带少数几个近臣，将文武大臣丞相将军都留在咸阳，照常办公，处理行政事务，以后再将他们迁过去，这样做一是他们明日可以脱身，更重要的是不会引起国内外的震动。
杨广话刚落音，殿外一叠声传报:“边疆十万火急来报，皇上皇上……”
杨素不高兴，说:“皇上正议国家大事，边报可以等一会。”
宇文述说:“听皇上怎么说?”
杨广说:“快叫他前来，边关事急，不可一刻耽搁!”
杨素摸摸白髯，说:“宇文将军，咱们遇到一位好皇帝，以天下事为先，享乐在后。”
刘小文说:“快听边报，看他们说什么?”
接连来了三个报警官，一个是东北辽河前线来的，一个是西北抗突厥前线来的，还有一个是在中原平乱来的副将。东北来的小将说:“禀报皇上，皇家大军在辽东打了胜仗，那里的土匪退到长白山里顽抗，据探子回报，他们与朝鲜王勾结，一时难以打击他们，请皇上下旨，咱们如何行动?”
杨广问群臣:“你们说，辽东土匪割据一方，占领长白山广大地域，而朝鲜附国几年来阳奉阴违，不肯进贡，对我上国大不敬，现在他们狼狈为奸，沆瀣一气，朕很生气，爱卿，你们说俺大隋怎么发威?”
刘小文见杨素宇文述不响，他说:“启奏陛下，臣以为三处皆派大军前去剿灭，俺大隋国力强盛，为了稳定对外要抵御突厥，对内要镇压反叛者，这都是必须的应对之举。”
宇文述觉得刘小文的话是给他出难题，而杨素又以为自己是一锤定音的人物，此时不肯发声。因此，他这时必须发言，他说:“陛下，末将知道现如今土匪蜂起，用兵地方很多。在末将看来，不如集中兵力先安内再攘外，国内安定了，那边陲小国也就好对付了。”
杨素觉得宇文述的建议不合杨广的胃口，也是一位将军畏难的表现。他说:“陛下，臣以为边陲突厥蛮族窥我中原，必须派大军逐之灭之，以绝后患，对朝鲜不肯臣服，必须派大军征讨，以示上国之威，对中原土匪与反叛的州县更要镇压，愿降之徒可以招降，给以官做。这样早日结束南北朝留下的长期的动乱，让我大隋光耀天下，令四周诸小国敬仰。”
杨广听后，很是对他的心思，