卫青字仲卿。他的父亲郑季是河东平阳人，以县吏的身份在平阳侯家当差。平阳侯曹寿娶了汉武帝的姐姐阳信长公主。郑季与平阳侯家的婢女卫媪私通，生下卫青。卫青有同母兄长卫长君和姐姐卫子夫，卫子夫从平阳公主家得到汉武帝的宠幸，所以卫青冒用卫姓。卫媪的长女叫卫君孺，次女叫卫少兒，三女就是卫子夫。卫子夫的弟弟卫步广，也都冒用卫姓。

卫青是平阳侯家的奴仆，年少时回到父亲郑季家，父亲让他放羊。父亲前妻所生的儿子们都把他当作奴仆看待，不把他算作兄弟。卫青曾经跟随别人到甘泉宫的居室，有一个受过钳刑的囚徒为他相面说：“你是富贵之人，会官至封侯。”卫青笑着说：“我一个奴仆的儿子，能不遭受鞭打辱骂就足够了，怎么会有封侯的事呢！”

卫青成年后，成为平阳侯家的骑兵，跟随平阳公主。建元二年春天，卫青的姐姐卫子夫进入宫中，得到汉武帝的宠幸。当时的皇后是大长公主的女儿，没有儿子，心怀嫉妒。大长公主听说卫子夫受宠且有身孕，非常嫉妒，就派人逮捕卫青。卫青当时在建章宫当差，还没有出名。大长公主把卫青囚禁起来，想要杀死他。他的朋友骑郎公孙敖与一些壮士前去劫夺，卫青才得以幸免。汉武帝听说后，召见卫青，任命他为建章监、侍中。等到卫青的母亲和兄弟显贵后，几天之内赏赐就累计达千金。卫君孺嫁给了太仆公孙贺。卫少兒之前与陈掌私通，汉武帝召见陈掌，使他显贵。公孙敖也因此更加出名。卫子夫被封为夫人，卫青被任命为太中大夫。

元光六年，卫青被任命为车骑将军，率军攻打匈奴，从上谷出兵；公孙贺为轻车将军，从云中出兵；太中大夫公孙敖为骑将军，从代郡出兵；卫尉李广为骁骑将军，从雁门出兵：每支军队各有一万骑兵。卫青进军到笼城，斩杀和俘获匈奴几百人。骑将军公孙敖损失七千骑兵，卫尉李广被匈奴活捉，后来逃脱归来，两人都应当被斩首，出钱赎罪后被贬为平民。公孙贺也没有立下功劳。只有卫青被赐予关内侯的爵位。此后匈奴仍然侵犯边境。详细情况记载在《匈奴传》中。

元朔元年春天，卫子夫生下儿子，被立为皇后。这年秋天，卫青再次率领三万骑兵从雁门出兵，李息从代郡出兵。卫青斩杀和俘获匈奴几千人。第二年，卫青又从云中出兵，向西抵达高阙，接着进军到陇西，俘获匈奴几千人、牲畜一百多万头，赶走了白羊王和楼烦王。于是汉朝夺取了黄河以南的土地，设置朔方郡。汉武帝