侃之子。
出身弘农杨氏原武房，幼年时便以聪慧闻名，等到长大后，好学不倦，博通经史。九流七略，一览无遗。尤其擅长文辞，词藻结构清新韵足。崇尚玄理，沉静寡欲，经常独处一室，左右摆满经书，凝视满席书籍，非常宁静。内心明晰而运用隐晦，不求声名，每次写文章，羞愧于自白，不是知己的人不可看见。
杨绾早年孤苦贫寒，以孝敬母亲而闻名，有时缺乏美味食物，脸上即显出忧虑。亲友劝说他去谋求俸禄，杨绾于是考取进士，被调补为太子正字。
天宝十三载（754年），唐玄宗御驾勤政楼，考取博通坟典、洞晓玄经、辞藻宏丽、军谋出众等科的举人，命有关部门提供食物，直至黄昏时才结束考试。除考取辞藻宏丽科的人之外，其余各科另外加考诗赋各一首。制举考核诗赋，自此开始。此次登科的有三人，杨绾名列第一，被越级擢升为右拾遗。
天宝十四载（755年）十一月，范阳、河东、卢龙三镇节度使安禄山以诛宰相杨国忠为名，起兵反唐。安禄山一路南下，攻克东都洛阳，直逼京师长安。次年六月，玄宗与太子李亨等出逃。七月，李亨在灵武即位，即为唐肃宗。杨绾在叛军中冒着危险，“披榛求食”，奔赴行在灵武。此时，朝廷正急于求贤，等到杨绾赶到，大家都感到很高兴，肃宗下诏授他为起居舍人、知制诰。历任司勋员外郎、职方郎中，依旧掌制诰。后转任中书舍人，兼修国史。
大历十二年（777年）四月初一，唐代宗任命杨绾为中书侍郎、同中书门下平章事、集贤殿崇文馆大学士，兼修国史。杨绾多次表示恳请让位，代宗坚决不许，他于是不敢再辞。
杨绾德高望重，且质朴忠贞、车服俭朴，素以品德举止着称。任命他为相的诏令公布后，朝野之人相互祝贺 ，朝中权贵移风易俗的例子有许多：
御史中丞崔宽是剑南西川节度使（今四川省西部）崔宁的弟弟，家境富有，在长安之南建有别墅，其中的池馆台榭，在当时被称为第一，崔宽得知杨绾拜相后，在当天就暗中派人将其拆毁；
中书令郭子仪驻守邠州（治今陕西彬县），他正在宴请宾客时，听说杨绾为相，便将在座助兴的声乐队减去五分之四；
京兆尹黎干受唐代宗宠信，每次出入车马有一百多辆，但也在杨绾拜相当日，减少车马，只留十匹而已。
时人比诸汉朝杨震，及晋朝山涛、谢安，这真的好算是救时良相了。善善从长。常衮虽与杨绾并相，才识远不及杨绾，唐代宗召还李泌，意欲令他辅政，偏为常衮所齮龁，仍出李泌为澧州刺史，唯与杨绾荐引颜真卿，仍复原官，还与众望相孚，这且慢表。
且说唐代宗季年，方镇浸盛，河北四镇，统系安史旧将，据有遗众，逐渐鸱张。
河北四镇。卢龙节度使李怀仙，性情暴戾，为幽州兵马使朱希彩所杀，自称留后，唐代宗专务羁縻，仍任朱希彩为节度使。
朱希彩部下，又是不服，复将朱希彩杀死，改推经略副使朱泚为帅。
唐代宗李豫又把节度使的重任，授给朱泚。
相卫节度使薛嵩病死，其子名平，年甫十二岁，将士推他袭职。
薛平把职位让与叔叔薛萼，夜奉父丧奔归乡里，童子却是不凡。
薛萼遂自称留后。
唐代宗亦听他自为，且加任命。
独魏博节度使田承嗣，跋扈得很，公然为安、史父子立祠，号为四圣，并上表求为宰相。
唐代宗李豫遣使慰谕，讽令毁祠，竟授他同平章事。既而复遣爱女永乐公主，下嫁给田承嗣之子田华，田承嗣益加骄恣。
唐代宗大历十年（775年）?，相卫兵马使裴志清在魏博节度使田承嗣的引诱下发动兵变，?驱逐了薛萼?，并率部