卫青的母亲生有一男三女，即儿子卫长君，长女卫君孺、次女卫少儿、三女卫子夫。丈夫死后，她仍在平阳侯家中帮佣，与同在平阳侯家中做事的县吏郑季私通，生了卫青。后来，他的母亲感觉供养他非常艰苦，就把他送到了亲生父亲郑季的家里。但郑季的夫人根本看不起卫青这个私生子，让他到山上放羊，郑家的几个儿子也不把卫青看成手足兄弟，随意苛责。卫青在这样的环境下生活，受尽了苦难，在他的性格形成上打下了深深的烙印。
卫青长大后，不愿再受郑家的奴役，便回到母亲身边，并做了平阳府的骑奴。有一次，卫青跟随别人来到甘泉宫，一位囚徒看到他的相貌后说：“你现在穷困，将来定为贵人，官至封侯。”卫青笑道：“我身为人奴之子，只求免遭笞骂，已是万幸，哪里谈得上立功封侯呢？”
前139年(建元二年)春，卫青的姐姐卫子夫被汉武帝选入宫中，卫青也被召到建章宫当差。这是卫青命运的一大转折点。
建元三年，卫子夫有了身孕，引起了陈皇后的嫉妒。陈皇后是汉武帝姑姑馆陶长公主刘嫖的女儿，与汉武帝成亲后，被立为皇后，但是无子，知道卫子夫怀孕得宠后数次要死要活。馆陶大长公主为了给女儿出气，意图谋害卫青。她抓到卫青，准备处死。卫青的好友公孙敖听到了消息，马上召集了几名壮士，赶往抢救，把卫青从死亡的边缘夺了回来。汉武帝得知后，大为愤怒，于是任命卫青为建章宫监、侍中，子夫为夫人，并召贵卫青的兄弟，数日间给卫青的赏赐便达到千金之多。公孙敖也因此益加显贵。卫青后任太中大夫。
前129年(元光六年），匈奴又一次兴兵南下，前锋直指上谷（今河北省怀来县）。汉武帝果断地任命卫青为车骑将军，迎击匈奴。从此，卫青开始了他的戎马生涯。这次用兵，汉武帝分派四路出击。车骑将军卫青直出上谷，骑将军公孙敖从代郡（治代县，今山西大同、河北蔚县一带）出兵，轻车将军公孙贺从云中（今内蒙古托克托东北）出兵，骁骑将军李广从雁门出兵。四路将领各率一万骑兵。卫青首次出征，但他英勇善战，直捣龙城（匈奴祭扫天地祖先的地方），消灭匈奴数千人，取得胜利。另外三路，两路失败，一路无功而还。汉武帝看到只有卫青胜利凯旋，非常赏识，加封关内侯。
龙城之役在汉匈交战史上具有划时代的意义。汉朝自高祖刘邦建国以来，屡屡受到北方匈奴的掠夺羞辱，如高祖“白登七日”之困，吕后受冒顿单于书信之辱，孝文帝十四年匈奴十四万骑大入关，斥候一度略至长安附近的甘泉，以及匈奴频频对汉朝边郡和百姓的烧杀劫掠等，可谓汉朝的心腹大患。龙城的胜利打破了自汉初以来“匈奴不可战胜”的神话，大大鼓舞了汉军士气，成为汉匈战争的转折点，为以后汉朝的进一步反击打下了良好的人心基础。
汉朝对匈奴的反击，使得匈奴的进犯更加猖狂了。公元前128年（元朔元年）的秋天，匈奴骑兵大举南下，先攻破辽西，杀死辽西太守，又打败渔阳守将韩安国，劫掠百姓两千多人。汉武帝派李广镇守右北平（今辽宁省凌源西南），匈奴兵则避开李广，而从雁门关入塞，进攻汉朝北部边郡。汉武帝又派卫青出征，并派李息从代郡出兵，从背后袭击匈奴。卫青率三万骑兵，长驱而进，赶往前线。卫青本人身先士卒，将士们更是奋勇争先。斩杀、俘获敌人数千名，匈奴大败而逃。
前127年（元朔二年），匈奴集结大量兵力，进攻上谷、渔阳。武帝派卫青率大军进攻久为匈奴盘踞的河南地（黄河河套地区）。这是西汉对匈奴的第一次大战役。卫青率领四万大军从云中出发，采用“迂回侧击”的战术，西绕到匈奴军的后方，迅速攻占高阙（今内蒙古杭锦后旗），切断了驻守河南地的匈奴白羊王、楼烦王同单于王庭的联系。然后，卫青又率精骑，飞兵南下，进到陇县西，形成了对白羊王、楼烦王的包围。匈奴白羊王、楼烦王见势不好，仓惶率兵逃走。汉军活捉敌兵数千人，夺取牲畜一百多万头，完全控制了河套地区。