汉武帝闻言，不禁想起了此前攻打楼兰、车师之事，既然当时浞野侯赵破奴仅凭七百骑兵便攻破了楼兰国，生擒楼兰王，再加上姚定汉等人的一番言论，不免让汉武帝对大宛国国力也有所轻视。

时值后宫李夫人受宠，李夫人曾多次哀求汉武帝加封娘家人为侯，汉武帝虽然也有心扶持李氏家族，却也不想打破汉高祖刘邦“无功不得封侯”的祖训，因此一直没有找到合适的机会，如今既然决定出兵大宛，汉武帝便决定趁机考验一下李氏外戚的能力。

说到李夫人，就不得不提到他的兄长李延年。李延年兄妹本是中山倡家出身，父母兄弟姐妹都精通音乐，李延年青年时因为犯法而被处以宫刑，发配到狗监任职。后来，李延年因精通音乐受到汉武帝召见，恰逢汉武帝决定在祭祀中使用乐舞，李延年于是经常秉承汉武帝旨意，谱曲并演唱一些新曲诗歌，从而日益受到汉武帝宠幸。

元封年间，李延年在汉武帝面前演唱《佳人曲》，其中唱到“北方有佳人，绝世而独立，一顾倾人城，再顾倾人国……”，汉武帝听罢不禁感叹，世上真有这样的佳人吗？平阳公主趁机推荐李延年的妹妹，汉武帝于是召其入宫，妙丽善舞的李夫人很快受宠。

当时，由于霍去病和卫青的相继去世，汉武帝有感于身边人才凋零，在下诏求贤的同时，亦决定扶持另外一支外戚力量，期望能够培育起另外一位卫青、霍去病。由于李夫人的受宠，李延年及其兄长李广利、弟弟李季等李氏外戚便成为了重要候选人。

结果，由于汉武帝对大宛的轻视，导致这场远征大宛的战争，演变成了汉武帝选拔人才的考试。

由于李延年以音律着称，而李季又年纪尚幼，汉武帝于是决定重点考察李广利。为此，汉武帝任命李广利为贰师将军，又征发附属国骑兵六千及各郡、国品行恶劣的青年数万人，前往征讨大宛国。同时，鉴于李广利乃是初次领兵，汉武帝又命赵始成为军正官，浩侯王恢为军前向导，李哆为校尉，辅佐李广利。

太初元年（前104年），李广利率领数万军队西征，汉武帝以大宛国藏马的贰师城为李广利的将军之号，可见此战的目的。

王恢此前便曾多次出使西域，后来又随赵破奴攻破楼兰、车师，对于西域情形十分了解，有他作为军队的带路向导，李广利统率的大军顺利经河西进入西域。然而，等到大军进入西域之后，却开始举步维艰。

正是由于楼兰和车师两个前车之鉴，西域各国对汉朝是既恐又怕，在得知数万汉军再度西征后，西域各国全都陷入极大的恐慌之中，不知道汉军目的的他们，只能各自紧守城堡自守，既不与汉军交战，也不敢向汉军提供粮草补给。

汉军劳师远征，携带粮草本就不多，自河西运粮又太过艰难，此前汉朝出使西域各国，便多是从西域各国就地获取补给，一旦西域各国拒绝供粮，便会十分艰难。此前赵破奴出兵西域，之所以能一路向西，乃是因为攻破了楼兰和车师两国，夺取了两国粮草作为补给。

如今西域各国拒绝向汉军供粮，赵广利便也只好学着赵破奴那样，攻打沿途西域各国夺取粮草，然而由于赵广利军事才能有限，攻打各国并不顺利。若是能够打下来，汉军便有饭吃，若是不能攻克，汉军也不敢久持，只能攻城数日后撤走。

从汉朝到西域本就道路艰险，再加上缺少补给缺衣少食，以及沿途一路征战，汉军损兵折将极为严重，等到好不容易翻越葱岭，抵达郁成国时，数万大军便只剩下了几千人，而且将士们大多饥饿疲乏不已。

郁成国乃是大宛东部的一个小国， 平日里对大宛国言听计从，此前正是郁成王奉大宛国王之命袭杀了汉使车令。李广利为了给攻打大宛国做准备，便选择以郁成国作为中转站，打算将郁成国攻下后，取得粮草补给，待汉军休整完毕后，再继续攻打大宛国。

然而，汉军将士在饥饿疲惫的折磨下，战斗力早已十不存一，结果非但没能攻破郁成城，反而损兵折将死伤众多。

眼见西征难以继续，李广利只好将麾下将领召集起来，说道，“如今郁成都难以攻下，又如何攻打大宛国？”在与众将商议一番后，李广利最终决定率军撤退。

汉军此次西征，仅是往返便花费了一年多时间，再加上一路西行损兵折将，等到汉军返回敦煌，出征的军队已是十不存一。

李广利派使者上奏汉武帝，“此次出征，路途遥远又缺乏粮草补给，士兵们虽不怕打仗，却只怕挨饿。如今兵力太少，已经难以攻取大宛国，希望暂且撤兵休整。此外，希望陛下能够再派援军，妥善准备后再行西征。”

多年来，汉朝出征屡屡取得大胜，何曾有过如此耻辱的败绩，当汉武帝接到李广利的上书后，顿时大发雷霆，派使者拦守玉门关，并传信于李广利所部将士，凡是有将士敢擅自入关，立即斩首处死。李广利心知触怒了皇帝，不敢再有所请求，只好率军驻留敦煌。

汉武帝之所以如此恼怒，除了李广利西征损兵折将毫无建树之外，还有一个原因，那便是同时期汉军与匈奴交战，竟然也惨遭大败。