汉兵屡败隗嚣，嚣病且饿，恚愤而死。建武九年，拜马援为太中大夫，副来歙监诸将平凉州。当王莽世，羌虏多背叛，而隗嚣招怀其酋豪，遂得为用。及嚣亡后，五溪先零诸种，数为寇掠，入居塞内，皆营堑自守，州郡不能讨。来歙知援有干济材，奏言陇西侵残，非马援莫能定。十一年夏，玺书拜援陇西（今甘肃狄道县）太守。援自从光武，君臣相契，千载一时，而大知大受，则自兹始。
援至陇西，发步骑三千人，击破先零羌于临洮，斩首敷百级，获马牛羊万余头。守塞诸羌八千余人，诣援降。
羌虏诸种，合兵数万，屯聚寇钞，拒浩亹隘（浩亹读若“告门”，汉县名，属金城郡，今甘肃碾伯县东）。援与扬武军马成击之。有允吾谷者（允吾读若“鈆牙”），地僻而险，羌因将其妻子辎重，聚匿谷中，轻骑出寇。援知之，乃潜行间道，掩赴其营。羌大惊溃，复远徙唐翼谷中，援追讨之。
羌引精兵聚北山上，援陈军向山，而分遣数百骑绕袭其后，乘夜放火，击鼓叫噪，虏大溃，凡斩首千余级。援以兵少，不得穷追，收其谷粮畜产而还。诸羌据其部落，以逸待劳。汉兵既少，主客之势又殊，而援出奇制胜，使羌人寒胆，可谓名将也已。
方事之殷，援奋不顾身，中矢贯腓胀（腓胀，䏿也，或作綮，亦也。从《东观记》、《后汉书》作“胫非”）。上闻，以玺书劳之，又赐羊三千，牛三百头以养病。援尽班诸宾客。
是时朝臣以金城破羌之西（破，羌县名，属金城郡，故城在今湟水县西），途远多寇，议欲弃之。援上疏曰：
“破羌以西，城多完牢，易可依固，其田作肥壤，灌溉流通。如令羌在湟中（湟，水名，出金城临羌县，东至允吾入河，今鄯州湟水县，取其名也，一名乐都水），则为害不休，不可弃也（袁宏《后汉纪》亦载此疏，云：亢吾以西数十里一城，城皆完坚，旧制置塞，因山阻每其踊径，辄有候尉，故虏不得妄动也。案：亢吾当作“允吾”）。”
帝然之，于是诏武威太守梁统，令悉还金城客民（金城人之在武威者），归者三千余口，使各反旧邑。援奏为置长吏，缮城郭，起坞候（坞，小障也，一曰小城宇，或作“隖”，音一古反），开导水田，劝以耕牧，郡中乐业。又遣羌豪杨封，譬说塞外诸羌，皆来和亲。
公孙述在蜀，深得氐人之助。氐人闻援善待诸羌，亦慕义来归。援皆上复其侯王君长，赐印绶，由是蜀势愈蹙。
建武十三年，武都参狼羌与塞外诸种为寇，杀长吏。援将四千余人击之，至氐道县（汉制县管蛮夷曰道。氐道县属陇西郡，今甘肃清水县西南），羌在山上，援军据便地，夺其水草，不与战，羌遂穷困。豪帅数十万户。亡出塞。诸种万余人悉降。于是陇右清静。
自来筹边事者，不难于使蛮人畏威，而难于使蛮人怀德；不难于一日灭寇，而难于百年无事。援自平羌人，务开宽信，恩以待下，任吏以职，但总大体而已。宾客故人，日满其门，诸曹时白外事，援辄曰：“此丞掾之计，何足相烦，颇哀老子，使得邀游。若大姓侵小民，黠羌欲旅距（旅距不从之貌），此乃太守事耳。”
傍县尝有报仇者，吏民惊言羌反，百姓奔入城郭。狄道长诣门（狄道县属陇西郡，今肃州县也），请闭城发兵。援时会宾客饮，大笑曰：“烧虏何敢复犯我（烧虏即烧羌也），晓狄道长，归守寺含（晓喻也寺舍官舍也）。良怖急者，可床下伏。”后卒无变，人以此服之。
【批评】
光武征隗嚣，不任马援。非不信援也，以援归命未久，声望出吴汉、来歙、岑彭、耿弇、盖延诸人下，故但令任帏幄之事耳。
《风俗通》曰：汉有牛崇，为陇西主簿，马文渊为太守，羊喜为功曹。凉部云：三牲备具。此亦一时雅谑也。
援少年时，志在牧畜，其后卒成其志。羁留北地，习其山川道里，风土人情。一旦见用，遂建绝世之勋。隗嚣、公孙述皆资氐羌，与汉为敌，援剪其羽翼，汉廷早得统一。当汉业衰微，塞外诸国皆钣，援出奇制胜，开疆拓土，扬天汉之威灵，边烽永息，其功甚大！
汉兵多次打败隗嚣，隗嚣饥饿病重，怀恨而死。建武九年，任命马援为太中大夫，帮助来君叔，监督诸位将领平定凉州。在王莽当权的时候，西羌大多背叛中原政权，而隗嚣招来他们的首领，把西羌的军队控制在自己手上。等到隗嚣失败后，五溪、先零一带的几个少数民族多次掠夺中原人的财产，他们移居在城塞中，全部建筑营地防守，州郡的军队无法讨伐他们。来君叔知道马援有救济人民大众的才干，就奏请皇帝，说明了陇西一带遭到少数民族的入侵和摧残的事实，并说只有马援可以平定。建武十一年夏天，皇上下诏任命马援为陇西（今甘肃狄道县）太守。马援自从跟随光武帝后，君臣同心，为千载难得，一个敢委以重任，一个敢承担重任，他们之间的合作也从此开始。
马援到了陇西，发兵统率步兵骑兵三千人，在临洮击破了先零的羌族，斩首数百人，获取了马牛羊各类牲畜万余头。守塞的羌兵八千多人向马援投降。
几路羌兵集结军队数万人，囤积集众一起攻击抢夺，据守在浩亹（浩亹，读作“告门”，汉朝时县名，属于金城郡，今甘肃碾伯县东）关，马援和扬武将军马成对他们发起进攻。那里附近有个叫允吾（允吾读作“鈆牙”）的峡谷，地势偏僻险峻，羌兵就把妻子和孩子，以及战略物资，集中起来藏在这个峡谷中，然后他们以轻骑兵出动。马援知道了他们的动向，就偷偷地走小路，突然袭击他们的营地，羌兵大惊，惊慌着溃散，再次远迁到唐翼谷中，马援追击他们。
羌族将领引精兵屯在北山上，马援向山分部军队，派遣数百骑兵绕到羌兵背后，趁夜放火，击鼓呼叫，羌兵溃乱，一共被斩首千余级。马援认为兵力不足，不得穷追不舍，收集他们的粮食谷物、牲畜物产回营了。在这场战役中，羌族各个军队，据守在部落中，他们在战前做好了充分的准备。而汉兵军力不足，而且羌兵作主，汉兵作宾，局势相差甚大，但是马援可以出奇制胜，让羌族胆战心惊，他实在是一代名将。
战事正盛的时候，马援奋不顾身，流箭贯穿了小腿（腓胀，指的是，或指綮，也是。这里从刘珍《东观记》、范晔《后汉书》改作“胫非”）。皇帝听说马援受伤，亲自写信犒劳他，还赐牛羊数千头，要他好好养病。马援把牲畜全部分发给各个门客。
这时，朝臣认为金城在羌族破县（破，羌族县名，属于金城郡，旧城在今湟水县西部）西边，道路遥远，盗寇很多，商议想要放弃。马援上书说：
“羌族破县以西的城池大多完整，易于防守，土地可作良田，灌溉也很便利。如果让羌族占领了湟河（湟，河流名，流出金城临羌县，东到允吾入河。今鄯州湟水县，这是取这条河的名字。或者称乐都河）一带，那就为害不止，所以不能够放弃这里。”（袁宏《后汉纪》中也有这条注释，说：亢吾以西数十里有一城，城都完善坚固，沿用旧时的制度设置了城塞，因为山势阻隔，每次少数民族出兵，就有中原军队把手，所以他们不敢轻举妄动。经考据，亢吾当写作“允吾”。）
皇帝赞同马援的建议，于是诏武威太守梁统，命令他们把逃到金城的客民（在武威的金城人）都迁回金城。回来的人有三千多，把他们分配到原来的旧邑去。马援奏表，给他们派置长吏，修理城墙，建立起小城镇（坞，小障碍物的意思，一说是小城镇。或着写作“隖”，作一古反），开导水田，劝他们耕种，郡中的人得以安居乐业。马援又派遣羌族的富豪杨封，劝说塞外的羌民，都来和亲。
公孙述在蜀地，深得氐人的协助。氐人听说马援善待羌族，也慕名而来。马援奏请恢复了他们侯王军长的职位，赐给他们印绶，这样一来公孙述在蜀地的势力越来越薄弱。
建武十三年，武都、参狼一带的羌族和塞外一些少数民族起兵，杀死了当地的长吏。马援率领四千余人攻击他们，追击到了氐道县（汉时设置的县城，管理蛮夷地区的叫做“道”。氐道县属于陇西郡，今甘肃清水县西南一带），羌在山上，马援军占据了有利的地形，就夺走了羌军的水草，不与他们交战，羌军他们被困。一些富豪们率领数十万户居民逃出了塞外，其他少数民族的万余人全部投降，于是陇右就清静了。
从古以来，筹划边疆的事宜，威慑蛮人不难办，难的是让他们归顺；快速灭敌不难，难的是长时间安定。自从马援平定了羌族，他就致力于广施恩惠，树立威信，对待下属宽容，任用下级官吏时，让他们有职有权，自己只处理大事、要事罢了。客人和旧友每天都挤满了他的家。众人有时前来报告外面发生的事情，马援总是说：“这都是底下官员的责任，何必来麻烦我呢！你还是可怜一下我这个老头子，叫我清闲清闲吧。如果豪强侵吞百姓，狡猾的羌人打算闹事犯边（旅距指不服从），这才是我太守该管的事啊。”
附近的县曾发生过复仇的事情，官吏和百姓听传言说羌人造反了很惊慌，百姓都跑到了城里。狄道县县令来拜访马援（狄道县属陇西郡，现在的肃州县），请求关闭城门，发兵征讨。马援当时正在和宾客饮酒，大笑道：“羌人哪还敢再来进犯我们呢（烧虏即是“烧羌”）！请狄道长您赶快回去看守好官舍（这里是比喻，把寺舍比作官舍）吧。如果谁实在怕死，就让他趴在床下躲起来吧。”后来，城里终究是没有发生变乱，郡县中的人因此都十分佩服马援。
【评论】
光武帝征讨隗嚣的时候，没有任用马援。不是因为不信任他，只是他归顺没多长时间，名声在吴汉、来歙、岑彭、耿弇、盖延等将军以下，所以只是任用他掌管扎营一事而已。
应劭《风俗通》中记载汉朝有陇西主簿牛崇，太守马援，功曹羊喜。凉部说：三大牲畜都齐全了。这也是当时趣味高雅的戏谑之词。
马援年少时，梦想是放牧，后来也实现了梦想。在北方漂泊时，他对当地的山川道路，以及风土人情都很熟悉。当派上用场时，便成就了他的绝世功业。隗嚣和公孙述资助氐族、羌族，与汉为敌，马援就剪掉了他们的翅膀，使汉得以早日统一全国。在汉国运衰弱时，塞外各附属国背叛了中原，马援出奇制胜，开疆拓土，宣扬了汉朝的天威，使得边疆烽火长久停息，功劳很大！