山云，徐人。父亲山青，以一名百户长随从成祖起兵，积功升到都督佥事。山云相貌魁梧，富有机智谋略。最初承袭金吾左卫指挥使。多次随从皇上出塞，有功。当时有幼军二十五所，隶属于府军前卫，掌管该卫的人不管事，便另命山云和李玉等五人安抚他们。仁宗即位后，他升为行在中军都督佥事。
宣德元年(1426)，他调到北京行都督府，受命与都御史王彰从山海关到居庸关，巡视沿途关隘，可以相机行事。皇上出征乐安，把山云召回，辅助郑王、襄王居守京师。
第二年，柳州、庆远蛮人韦朝烈等人抢掠临桂等县。当时镇远侯顾兴祖因不救丘温被逮捕，公侯大臣举荐山云。皇上也知道山云。三年(1428)正月，山云佩征蛮将军印，充任总兵官前往镇守。山云到后，讨伐韦朝烈，将其击败。贼人退保山顶。山很险峻，他们用藤把木头吊起来，并在上面垒起石头，官军一到，他们便砍断藤条，推下木头石块，没有人敢靠近。山云在半夜把火把捆在牛羊的角上，在它们后面敲金打鼓，把它们驱向贼人。贼人以为官军来了，急忙断藤。到天明时，木头石块都快用尽了，官军呼喊登山，遂攻破了贼人。南安、广源各蛮都被攻下。这年夏，忻城蛮人谭团作乱，山云去讨伐，擒获了谭团。四年春，讨平柳州、氵寻州各蛮人。这年秋，雒容县蛮人出来抢掠，山云派指挥王纶将其击破。山云上奏王纶的功劳，并弹劾他杀害良民之罪。皇上宽宥了王纶，而心中更器重山云。广西自从韩观死后，各地蛮人逐渐凶残起来。山云因广西兵少，便留贵州兵为用，先后讨平了氵寻州、柳州、平乐、桂林、宜山、思恩等地蛮人。九年，他又因庆远、郁林的苗人除非受到重创，否则不臣服，便请求增派部队。诏令调发广东兵一千五百人给山云。山云分道剿捕，擒获和斩杀了很多人。他又派指挥田真攻打大藤峡贼人，将其击破。
山云在其镇守期间，先后进行大战十余次，斩首一万二千二百六十，降服贼首三百七十名，夺回被掠去的男女二千五百八十人，构筑城堡十三处，铺舍五百间，烧砖凿石，增高加厚。从此瑶人和壮人敛迹不出，百姓安居。论功，山云升为都督同知，并得玺书褒奖慰劳。
山云有勇有谋，沉着冷静，而品行端正廉洁，赏罚公正，号令严明，与士兵同甘共苦。随机应变，战无不胜。广西镇守将领初到，按惯例土官都要来馈赠和贡献财物。将领如果收下了，就会被他们挟持。山云初到时，听说府吏郑牢刚直，便召他来问，说“：他们的馈赠可以接受吗？”郑牢说：“干净的衣服穿在身上，一旦被污染就洗不掉。将军就如新的干净衣服。”山云说：“如果不收下，他们会生疑，怎么办？”郑牢说：“接受贿赂，依法当死。将军不怕天子之法，反倒怕当地蛮夷吗？”山云说“：说得好。”于是把所有馈赠全部辞掉，从严统治他们。因此土官都敬服，对于朝廷的调遣征发，没有人敢落后。山云所到之处，询问乡里父老，安抚善良，审查受到诬陷冤枉之人，土人都很爱戴他。
英宗即位后，山云从马上摔下来，大腿受伤。皇上派医生坐驿车赶来探视。山云以病请求派人取代他，皇上下诏不允许。进升为右都督。正统二年(1437)，他上书说：“氵寻州与大藤峡山岭交错，这里瑶寇出没，占耕附近田地。左右两江的土官，所属地区人多田小，他们的狼兵素来勇猛，为贼人所害怕。如果酌量调发一些田州土兵到氵寻州和大藤峡附近山区屯田，让他们分界边耕边守，阻断贼人出入之路，这样不出数年，贼人一定坐困。”回报说可。其后东南地区一有急警，常调用狼兵，此举即从这时开始。第二年冬，山云在驻镇之地去世。赠怀远伯，谥忠毅。长子俊，承袭府军前卫指挥使。广西人对山云怀念不已，立祀塑像来祭祀他。
当初，韩观镇守广西，专用杀戮。庆远府的生员来迎接他，韩观说：“这些都是贼人派人侦察我的。”把他们全杀了。山云平和宽恕。参佐官有罪，他总是向上汇报，不妄自杀人，而人们也不敢违犯。郑牢曾在韩观手下任逮人之职。韩观喝醉了酒，常常杀人，郑牢总是把那些人留下来，等韩观醒后再向他汇报。郑牢为士大夫所重，但他到死仍只是一名属吏。