霍去病虽然第一次参战，但初生牛犊不惧猛虎，他主动请求大将军卫青，愿自率800骁骑 ，远离汉军主力数百里之遥，寻找战机，单独作战。霍去病挑选的都是年轻精干的勇士，率领他们孤军深入，迂回穿插到匈奴后方，以狐狸般的狡黠、猎狗般的嗅觉、饿狼般的勇猛，终于捕捉到了有利战机，不待大军赶到，就一举捣入右贤王的大营 ，打了匈奴人一个猝不及防 。
据《史记》记载，是役共斩首两千余级 ，单于祖父籍若侯产被汉军击杀，单于叔父罗姑比、匈奴相国、当户等四十余贵人都成了汉军俘虏。河南之战，是霍去病处子之战，第一次出战即大获成功，斩首掳获无数。就在霍去病千里奔袭，奋勇杀敌，屡建奇功时，大将军卫青麾下的六位宿将表现却相形见拙，前将军赵信（原匈奴小王，后降汉）兵败投降，右将军苏建（苏武之父）作战不利，弃军逃跑，其余四位将军虽未大败，但皆战绩平平。
霍去病首战告捷，武帝大喜，封其为“冠军侯”。之后，在汉军凌厉的打击下，匈奴主力被迫远遁漠北，河西走廊的匈奴右部势单力孤。公元前121年春，年青的霍去病被晋升为“骠骑将军”，率精骑万人出陇西， 攻伐匈奴右贤王（匈奴辖西部地区最高统治者，相当于副王）诸部，霍去病再次使出绝招：长途奔袭，用6天时间连续攻破5个匈奴部落，摧枯拉朽，势如破竹，差一点就生擒伊稚斜单于（匈奴最高统治者）太子，浑邪、休屠二王见汉军如此生猛，惊恐万状，督促将士日夜筑垒以提防汉军正面进攻。
霍去病并非死打硬拼的蛮勇之夫，他见匈奴人防备严密，就令勇士们口衔竹箭，包裹马蹄，摘掉响铃，悄无声息地沿焉支山（甘肃山丹东南）往东疾驰一千余里至皋兰山（甘肃兰州以南）下，与卢侯、折蓝二王的军队遭遇，随即短兵相接进行肉搏。彼时，汉军因长途跋涉，早已人困马乏，但霍去病一声怒吼，跃马冲阵，身先士卒，接连斩杀匈奴兵于马下。
汉军见主将奋不顾身，士气大振，人人奋力冲杀，一举斩杀卢侯、折蓝二王及其部众近9000人，生俘浑邪王子，缴获休屠王的“祭天金人”。 同年夏天，霍去病携合骑侯公孙敖率数万骑兵出北地郡（今甘肃永昌），兵分两路征伐匈奴右贤王部，战略目标是彻底歼灭盘踞河西走廊的匈奴有生力量。由于沿焉支山北往西挺进的公孙敖部迷了路，未能按期会师，霍去病并未慌乱，他随机应变，率部越过居延海（内蒙西北），由西北转向东南，深入大漠腹地达两千多里，从祁连山麓出其不意地猛攻浑邪、休屠二王的侧翼，霍去病果然是军事奇才，不仅有勇，而且善谋，关键是他果敢决断，一旦获取最佳战机即迅猛出击，从不犹豫 。
因为事发突然，浑邪、休屠二王又被打了个措手不及，被汉军斩杀三万余人，损失惨重，已无力再战，迫使匈奴人彻底退出河西走廊，遁入更荒寂苦寒的极北之地。匈奴人失去了世代游牧的河西之地后，哀恸不已，为此悲歌曰：“失我祁连山，使我六畜不蕃息；失我焉支山，使我妇女无颜色”。由于匈奴单于以作战不利，丧师失地，欲将浑邪、休屠二王治罪，二王恐惧，决定归降汉朝。
武帝惟恐匈奴人诈降，命谋勇兼具、机智灵活的霍去病率万骑前往受降。霍去病还没抵达受降地，休屠王果然已经反悔，决意降汉的浑邪王情急之下，刺死了休屠王，兼并其军。风云突变，霍去病立刻决定改道渡过黄河，令一万骑士在四万匈奴军队前一字排开，列阵紧逼。浑邪王的一些部属本无意投降，见汉军像是要发起进攻，纷纷拨转马头欲逃跑，导致阵营大乱，大有顷刻间土崩瓦解之势。
霍去病当机立断，立刻纵马突入浑邪王的部众中，控制住被部下裹挟的浑邪王，稳住了惶惶不安的匈奴诸部。经过谈判，逼浑邪王处死八千作乱的匈奴官兵，派人将浑邪王护送至长安，自己带三万多匈奴降兵降将，缓缓退到汉塞，大功告成。汉廷将归附的匈奴人安置在陇西等边塞五郡附近，又沿祁连山到罗布泊（古称盐泽）构筑边防烽燧。在原匈奴浑邪、休屠王驻地设置武威、张掖二郡，与酒泉、敦煌并称河西四郡，不仅迫使匈奴人远遁，还基本打通了通往西域（新疆、中亚）的古老商道。
公元前119年，武帝决定派大将军卫青、骠骑将军霍去病率五万铁骑，步兵数十万，战马十四万匹，合围漠北，准备全歼匈奴主力。史上著名的“漠北之战”一触即发。史载，霍去病率军出代郡（今河北蔚县）之右北平，卫青出定襄（内蒙和林格尔），分两路穿越大漠，寻求伊稚斜单于主力决战。霍去病大胆选用一些匈奴降人为军校，同时起用一批曾留居匈奴、熟知漠北山川地理、风土民情的汉人做前导，知己知彼，才能百战不殆。
