李子雄年少时便慷慨有大志，陕州被周攻破后，他随着周军进入长安。李子雄家世代都是读书人，学业自通，他却还独自学习骑马、射箭。他的哥哥子旦劝他说“：弃文而崇尚武功，不是士大夫的本分啊。”李子雄说“：自古以来忠诚的大臣文武不能兼备而得以成功的人是很少的。我又文又武，兄长你担心什么呢？”子旦无话可说。
李子雄在北周做官，多次升迁任小宾部，后来跟从达奚武与齐人战于芒山，其他各路军队损失惨重，只有李子雄所领的军队保存了实力。他又经多次提拔任凉州总管长史。他跟随滕王荄在青海攻破吐谷浑，因为有功而加封上仪同。周宣帝即位后，李子雄跟随行军总管韦孝宽平定淮南，出任亳州刺史。隋文帝总管百事时，征为司会中大夫，因为李子雄在淮南有功，给他加位上开府。后来，当隋文帝受禅时，任命他为鸿胪卿，并晋爵高都郡公。
晋王杨广镇守并州，任命李子雄为河北行台兵部尚书。皇帝对少雄说“：我的孩子年轻，你兼有文武之才，现在我诚心将他委托给你，我就没有后顾之忧了。”李子雄叩头流泪，发誓为王室效命。李子雄为官正直，刚正不可冒犯的样子，晋王对他很尊敬，又很害怕，吏员们都称赞这位兵部尚书。在并州一年多，李少雄便去世了，他的儿子公扌延继承。