阿里海牙，畏兀儿族人，聪敏，有胆识谋略。家中贫寒，以种田为业，曾抚锄叹息说“：大丈夫当立功朝廷，为何作为小民而耕田种地。”后弃耕求学，有人把他推荐给世祖。
世祖即位后日渐擢用，由左右司郎中升参议中书省事。至元二年(1265)建立各路行中书省，晋升阿里海牙为佥河南行省事。
至元五年，阿里海牙与元帅阿术、刘整攻取襄阳，围城五年未下。九年三月，只攻下樊城外城。阿里海牙认为襄阳与樊城唇齿相依，宜先攻下樊城，襄阳可不攻而得。十年正月，蒙军用炮猛攻樊城，阿里海牙发水军焚毁襄樊浮桥，使襄军不能援助樊城，樊城被攻下。樊城既下，襄阳孤立无援，知府吕文焕不得已而开城投降。世祖授吕文焕为昭勇大将军、侍卫亲军都指挥使、襄汉大都督；以阿里海牙主持荆湖等路枢密院事，镇守襄阳。阿里海牙奏请大军乘胜顺流长驱，继续进军。世祖采纳，命伯颜、阿术统帅征南大军，阿里海牙晋升行省右丞。
十一年九月，元军会师襄阳，随后破郢州、沙洋、新城。十二月出沙芜口，阿里海牙麾兵攻武矶堡，宋制置夏贵败走庐州，都统程鹏飞败于江中，宣抚朱祀孙逃往江陵，鄂州张晏然开城投降，程鹏飞亦率其军降元。伯颜遣阿里海牙戍守鄂州。阿里海牙在鄂州宣扬皇上恩德，禁将士掳掠。遣军攻取寿昌、信阳、德安，进军江陵。十二年三月，他与宋安抚使高世杰战于巴陵，世杰败走。又攻克岳州。四月以火攻沙市，立破，宣抚朱祀孙、制置高达惊恐不已，均降。以后郢、归、峡、常德、澧、随、辰、沅、靖、复、均、房、施、荆门相继归顺。世祖闻捷大喜，对近臣说：“伯颜征东，阿里海牙孤军戍鄂，朕不放心，如今平定荆南，东征之师无后患矣。”命廉希宪守江陵，促阿里海牙迅速返鄂州。
阿里海牙招降潭州守臣李芾，不降，便移兵长沙，夺取湘阴。十月，元军至潭州，再招李芾投降，又不降。于是攻城，连攻七十天，大小数十战，阿里海牙虽受重创，仍奋力督战，十三年正月攻下潭州。宋转运使钟蜚英、都统陈义皆自杀，守将刘孝忠降。诸将要进行屠杀，阿里海牙制止说：“该州人民数百万，若尽杀戮，是违背皇上指示伯颜效曹彬不杀人之初衷。”还开仓发粮与饥民。又遣人占领彬、全、道、桂阳、永、衡、武冈、宝庆、袁、韶、南雄诸郡，这些地方的百姓都称颂阿里海牙秉承皇帝好生之德，不杀掳，所过秋毫无犯。只有静江守臣、宋经略使马..不降。河里海牙多次派人去说服，使者都被马..杀害，阿里海牙只得挥兵进攻，十一月城破。阿里海牙认为，静江民易叛，不同于潭州，不用重刑则广西诸州不服，因将城中百姓尽坑杀，斩马..于市。接着分遣万户脱温不花夺占宾、融、柳、钦、横、邕、庆远等地，齐荣祖夺占郁林、贵、廉、象，脱邻夺占浔、容、藤、梧等地。特磨王侬士贵、南丹州牧莫大秀，也都奉表归附。又派兵戍守静江、昭、贺、梧、邕、融诸地，自己回到潭州坐镇。
宋益王赵曰正、广王赵籨相继在海岛中称帝，雷州、琼州、金州、永州及潭州属县人民文才喻、周隆、张虎、罗飞都起兵响应，舒、黄、蕲等地人民也相继而起，大者众数万人，小者不下数千。阿里海牙先平定文才喻等，再至雷州，使人去琼州招降赵舆珞。赵舆珞不听。阿里海牙亲率兵航海五百里，捕杀赵与珞、冉安国、黄之纪，平定琼州之南宁、万安、吉阳。降八蕃罗甸的蛮族，置宣慰司以镇抚八蕃罗甸、卧龙、罗蕃、大龙、遏蛮、卢蕃、小龙、石蕃、方蕃、洪蕃、程蕃。
十八年，奏请迁行省治所于鄂州。所平定之荆南、淮西、江西、海南、广西共五十八州，西南各民族之地不可胜计。大多是劝降，未曾专行杀戮。对新归降地方的百姓，轻徭薄赋，人民感激，立祠纪念。
至元二十三年回朝，加光禄大夫、湖广行省左丞相。年六十而卒。赠开府仪同三司、上柱国，封楚国公，谥“武定”。至正八年(1348)进封江陵王。