王谦，字赦万，太原人。父亲王雄，因功被封为柱国大将军，晋爵为武威郡公。去世后谥号为忠。
王谦性情恭顺谨慎，没有突出的才能。因为父亲的功劳被封为安乐县伯。保定二年(561)，他的父亲王雄被封为庸国公，把武威郡公的爵号回封给他，他的安乐县伯回封给三弟王震。王雄战死，朝廷议论认为他的父亲死在战场上，应特加封赏。于是，命他为柱国大将军，继承庸国公的封爵。建德五年(576)，武帝东征，王谦随从，率军奋力作战，被晋封为上柱国。
建德六年，朝廷命他为益州总管、十八州诸军事。周宣帝驾崩，隋文帝杨坚辅助朝政，派梁睿任益州总管。这时，他派司录贺若昂奉奏书到达京城。贺若昂回来后，详细陈述京城中的情况。王谦因父子同受北周的恩惠，不满意杨氏专政，想图谋匡扶社稷，便兴兵起事。自己设置官署，总管长史乙弗虔、益州刺史达奚其心劝他凭借蜀地的险要，坚守以观时变。隆州刺史高阿那肱为他筹划三策，说“：你亲自率领精锐部队，直捣散关，蜀人知道你有勤王的义举，一定争相效命，这是上策；出兵进向梁、汉，以观望天下，这是中策；坐守剑南，拥兵自卫，这是下策。”王谦采用了他的中策和下策。
梁睿还没有来到大剑，王谦先派兵镇守始州。杨坚便命梁睿为行军元帅，征调利州、凤州、文州、秦州、成州等州的兵马讨伐。王谦任命的柱国达奚其心、高阿那肱、大将军乙弗虔、杨安、任峻、侯翕、景孱等率众号称十万，猛烈攻打别州，北周总管、楚国公豆卢责力坚守将近四十天。达奚其心等人听说梁睿率军即将到来，便溃退而去。王谦任命的大将军苻子英进攻巴州，又被刺史吕珍打败。梁睿乘机纵兵深入。达奚其心、乙弗虔派人秘密到梁睿那里，请求作为内应以将功折罪。王谦不知道他们已经背叛自己，仍让他们一起守卫成都。王谦本无谋略，而且任用的人也多非其才，一听说梁睿率大军到来，一个个惶恐不安，毫无办法。他只有亲自率军作战，命达奚其心、乙弗虔为左右军。行进数十里，左右军都发生叛变。他率余部奔往新都，县令王宝将他捉拿并杀死，将头送到京城。达奚其心、乙弗虔献出成都投降周军。杨坚认为他们都是首谋，命在蜀地街市将他们杀死。其余部众都被解散。高阿那肱不久也被诛杀。