贺兰祥，字盛乐。他的祖先与北魏一起兴起，有一个叫乞伏的人，任贺兰的莫何弗，因而以地为姓。后代的子孙有以良家子弟的身份入伍镇守武川的，便在那里定居。贺兰祥的父亲贺兰初真从小就很出名，被乡亲们所看重，娶了魏文帝的姐姐建安长公主为妻。保定二年(562)，朝廷追赠贺兰初真为太傅、柱国、常山郡公。
贺兰祥十一岁就失去父亲，居丧完全合乎礼仪的要求。在舅父家长大，尤为周文帝宇文泰所宠爱。虽然常在戎马逆旅中度过，舅父却不断为他延请儒生授业，教他读《诗》、《书》、《左传》。宇文泰初入关时，他与晋公宇文护都在晋阳，后来，宇文泰才派人将他们接去。他脱去布衣，被朝廷征用。他从小颇有胆量，志在建功立业。不久被提拔，补任都督，常在宇文泰的帐下。他跟随宇文泰平定侯莫陈悦。魏孝武帝入关，积累前后功勋，被封为抚夷县伯。他还跟随宇文泰进攻潼关，俘获东魏将领薛长儒，又攻克回洛城。归来后被封为左右直长，晋封爵位为公。
大统九年(543)，他跟随宇文泰在邙山与东魏军队交战，被升任为骠骑大将军、开府仪同三司，加封为侍中。大统十四年，被朝廷任命为都督、荆州刺史，晋封爵位为博陵郡公。以前，他曾代行荆州刺史职务，虽然不到一个月，却颇有政绩。这时重新上任，百姓很安心。因此，汉水以南流离失所的百姓都背着行李投奔他的人，每天都有一千多，远近的蛮族也无不归顺。他随时安抚接纳，都得到他们的欢心。时值盛夏骄阳，他亲自巡视境内各地，看见有人发掘古墓，暴露的骸骨遍地都是，便对守令说：“这怎么是仁者为政应该出现的情况呢！”命人赶快收葬。当天下起大雨，这年获得丰收。荆州境内有许多古墓，当地居民相沿成俗，喜欢挖掘，这时便自动停止。他虽然与宇文泰关系亲密，性情却很清简素净。荆州南接襄阳，西连岷蜀，出产的物品大多珍贵奇异。西魏已与南梁通好，货物往来，公私的馈赠，他一无所受。梁雍州刺史、岳阳王萧鮞钦佩他的人品风貌，便赠给他竹制的屏风、粗细不等的葛布，以及经史类的书籍。他难以违背萧鮞的心意，接受了之后就交给所司。宇文泰后来听说后，又都拿来赏赐给他。大统十六年，朝廷授予他大将军衔。宇文泰考虑到泾水与渭水灌溉的地方，渠坝堤堰已经被毁坏，便命他负责修建富平堰，开挖渠道，引来河水，向东注入洛阳。工程完成之后，人民大获其利。西魏废帝二年(553)，他任华州刺史。后来改华州为同州，朝廷仍任命他为刺史。不久，朝廷又封他为尚书左仆射。文官制度建立，朝廷授他为小司马。
孝闵帝称帝，废魏建周，晋封他为柱国、大司马。这时，晋公宇文护执掌朝政，他们是中表亲戚，从小又相亲相爱，所以，军国大事，宇文护都与他商量。诛杀赵贵，废除孝闵帝，贺兰祥都起了很大作用。
武成初年，吐谷浑进犯北周的许多州郡，朝廷派他与宇文贵统兵讨伐。他便派他的军司起草给吐谷浑的文告，与吐谷浑的广定王、忠留王等交战，把他们打得落花流水。因而，攻占了吐谷浑的洮阳、洪和两座城池，把这片地方改为洮州。他抚慰西部的百姓，整顿部队，返回北周。他被晋封为凉国公。去世，被赠封为太师、同、岐等十三州诸军事、同州刺史，谥号为景。