一年多后，杨玄感担任鸿胪卿，袭爵为楚公，升任礼部尚书。杨玄感虽然生性骄傲，但爱重文学，四海知名之士，大多到他门下。

杨玄感自因累代尊贵显赫，有大名于天下，朝中文武百官，大多是他父亲手下的将吏；又见朝纲渐渐紊乱，隋炀帝杨广又一天比一天爱猜忌，他心中不安，于是与诸弟谋划，准备废掉隋炀帝，立秦王杨浩为帝。

杨玄感随隋炀帝征讨吐谷浑，回来时到了大斗拔谷，当时随从官员都很狼狈，杨玄感想袭击隋炀帝。

叔父杨慎对杨玄感说：“朝士的心还是一致的，皇上还没有垮台的迹象，不可胡来呀！”

杨玄感这才作罢。

当时，隋炀帝喜欢征讨，杨玄感想立威名，偷偷求取将领，便对兵部尚书段文振说：“我家世代承受国家大恩，得到的宠爱超过了应得到的，如不立功于边塞，何以塞责？如边疆有风尘之警，我要执鞭于战阵之中，立点功劳。明公主管兵革的，所以冒昧地把心思告诉您。”

段文振把杨玄感说的话告诉隋炀帝，隋炀帝夸奖杨玄感，对群臣们说：“将门必有将，相门必有相，这话真不假。”于是赐给杨玄感缣彩数千段，对他礼遇更加隆重。

从此，杨玄感经常参预朝政。

大业九年（公元613年）春天，隋炀帝第二次东征高句丽，命杨玄感在黎阳郡（今河南浚县）督运粮草。当时，隋末农民战争已经爆发，义军遍布各地。

杨玄感于是与武贲郎将王仲伯、汲郡赞治赵怀义等谋议，想让隋炀帝所在的部队断粮挨饿，因此常常逗留，不按时发运粮草。隋炀帝军缓慢下来，派使者来逼促。

杨玄感扬言说：“水路有很多反贼，不可前后而发运。”他的弟弟武贲郎将杨玄纵、鹰扬郎将杨万硕，都随军到辽东，杨玄感偷偷派人召他们回来。

六月，将军来护儿率领水军，将从东莱入海，前往平壤城，部队还未出发。杨玄感无法号令众人，于是派家奴装作使者，从东方来，谎称来护儿因失军期而造反。

杨玄感于是进军黎阳县，关闭城门，大搜男夫。于是用帆布作牟甲，设置官署，都按开皇年间（公元581年至600年）的办法来办。他又送文书到周围的州郡，以讨伐来护儿为名，让他们发兵，到粮仓所在地相会。

李密自长安应召至军，为杨玄感谋主。杨玄感以东光县尉元务本为黎州刺史，赵怀义为卫州刺史，河内郡主簿唐祎为怀州刺史，部众近万人。

李密到了以后，向杨玄感献上、中、下三策：“北据幽州，断隋炀帝后路，为上策；西入长安，控制潼关（今陕西潼关东北），为中策；就近攻洛阳，胜负难测，为下策。”

杨玄感听了三策后说：“您说的下策，才是上策。现在朝臣们的家属，都在洛阳，如果不攻取它，怎能影响世人？并且经过城镇却不攻打，用什么显示威力？”

到了弘农宫，父老们拦着杨玄感说：“弘农宫兵力空虚，又有很多粮食，容易打下来。这样，进可绝敌人的粮食，退可占取宜阳的地盘。”杨玄感同意。

李密劝谏说：“您现在哄着广大兵众向潼关撤退，办好这事就得迅速，何况追兵快到，哪能停留！如果前进不能据守潼关，后退又无处可守，广大兵众一旦逃散，用什么保全自己？”

杨玄感不听，留下攻弘农宫，打了三天，打不下来，追兵于是追了上来。

杨玄感往西到了阌乡，上盘豆，布阵连绵五十里，与官军且战且走，一天几次战败。又在董杜原摆下战阵，诸军进攻，杨玄感大败，独与十几个骑兵在林间逃跑，将奔上洛（今陕西商县）。

李密秘密地进入潼关，被追捕的人捉住。

杨玄感起兵给隋政权震动很大，隋炀帝闻讯后仓惶从辽东撤军南下。

杨玄感屯兵洛阳城下，久战不克，隋援军到来，杨玄感腹背受敌，被迫西撤，为追兵所及，大败，奔上洛（今陕西商县）。八月初一日，死于葭芦戍。

相传，到了葭芦戍，杨玄感自知难免一死，对其弟杨积善说：“事情失败了。我不能让人杀辱，你可杀死我。”

杨积善抽刀砍死杨玄感，然后自己自杀，但自杀未死被追兵擒获，与杨玄感的首级一起送到隋炀帝的行宫。