廉惠山海牙，字公亮，布鲁海牙之孙，廉希宪之侄。其父阿鲁浑海牙曾任广德路达鲁花赤。
廉惠山海牙年幼丧父，由母亲一人抚养，家境贫寒，但他并不以破衣粗食为耻。二十岁时，大臣欲使他入宫禁宿卫，他推辞，一心想参加科举考试，于是入国学读书。至治元年(1321)，考中了进士，授官承事郎、同知顺州事。
在顺州，有弓匠提举马都刺，恃势强夺本州民田，同僚们也都怕他。廉惠山海牙到任后将此事按法处置。在顺州任职一年，有人推荐他入史馆，参与修纂《英宗实录》和《显宗实录》。不久拜为监察御史。当时中书省有大臣贪婪无厌，廉惠山海牙上章弹劾，对同僚们说：“如果因弹劾而获罪，那也是我的职责所在。”其后又弹劾明里董阿不应兼理祭太庙的事。任都水监时，廉惠山海牙疏通了会通河，修建滦、漆两河的堤坝及京东水闸。任秘书丞及会福总管府治中时，上疏指出二月迎佛是费财败俗，当时舆论肯定他的正确批评。以后又历任佥淮东廉访司事，江浙行省左右司员外郎，佥河东、河南、江西廉访司事，江南行御史台经历等职。山东盐法受到破坏，特选他任都转运使，不到一月盐课都按规定征收上来。
至正三年(1337)初，朝廷举行郊祭礼，召廉惠山海牙回京任侍仪使。四年，参与修纂《辽史》、《金史》和《宋史》。随后调任崇文太监，多次出任河南行省右丞。当时朝廷要征发民夫治理黄河河堤，骚扰各郡，廉惠山海牙上疏指出其弊端，但执政宰臣不采纳他的意见。调任湖广行省右丞，因武昌失守而受牵连获罪，后来把事情弄清楚了，调任江西行省右丞。
江西所属郡县多为义军所有，廉惠山海牙与平章政事、司徒道童协力商定守御和招安之策。为时不久，义军攻占江西行省衙门所在地，廉惠山海牙逃往福建。很久以后，任命他为江浙行枢密院事，又改任福建行省右丞。廉惠山海牙分兵镇守延平、邵武。在福建一年多，除统筹办理全省军事防御外，还将该省赋税由海道运至京师。调行宣政院使。第二年，拜翰林学士承旨、知制诰兼修国史。年七十一岁而卒。