此时，李广奉命离开太守的岗位，担任了长安未央宫的卫尉。汉武帝元光五年（公元前130年），李广又来到北方边境继续领兵。他率军从雁门关出发进攻匈奴，只是这回好运没有再光顾他。

最终，因为寡不敌众，李广战败被俘。眼看就要受辱，情急之下想到了一个不错的办法——装死。骗过了匈奴人，得以逃脱。

元朔元年（公元前128年），汉武帝任命李广担任右北平郡的太守。尽管前不久还俘虏了李广，但匈奴经过长期的交战，还是对李广很敬畏，把他称作“飞将军”。有的时候，敌人的评价能说明很多问题。

元朔六年（公元前123年），李广改任后将军，跟随大将军卫青出征匈奴。他摩拳擦掌，准备大展身手，可惜没有获得战功。

元狩二年（公元前121年），李广与从出使西域回来方向感很强的张骞组团出征匈奴。但张骞迷路了，行军迟缓，李广差点再次全军覆没。

在元狩四年（公元前119年）的汉匈大决战——漠北之战中，李广担任前将军，迷失了道路，未能参战，为了不被问罪受辱，李广自刎而死。

相比之下，卫青、霍去病对匈作战相当的精彩，被誉为“帝国双璧”。两人的战绩在古今中外都相当的出彩，霍去病更是中国历史上的骑兵天才、成长最快的少年英才和军事统帅之一。

李广的儿子李敢因为李广自杀这个事认为大将军卫青为难其父，派人刺杀卫青。卫青躲过一劫，他为人厚道、低调，没有展开报复。但他外甥霍去病看不下去，在狩猎过程中，射杀了李敢。

对于李广，历朝历代评价很高。司马迁用谚语“桃李不言，下自成蹊”来称赞李广的为人。司马光认为李广军队管理松散，却能经常打胜仗，但效仿他的人很少有成功的。北宋武学博士何去非认为李广能力非凡，他的悲剧命运在于“治军不用纪律”。

唐朝名义上的开国皇帝李渊、实际上的缔造者唐太宗李世民追认李广及其子李敢为先祖。 唐德宗时，追封历朝历代名将六十四人，李广就在其中。宋徽宗也不甘人后，追封李广为怀柔伯，让他进入宋朝武庙七十二将的名单。