垣崇祖字敬远，是下邳人。族姓豪强，石虎的时代，从略陽迁徙到邺。其曾祖垣敞，曾任慕容德伪吏部尚书。祖父垣苗，在宋武帝征讨广固时，率部下归降，便在下邳安家，官至龙骧将军、汝南、新蔡太守。父亲垣询之，为积射将军，宋孝武帝时为国捐躯，赠冀州刺史。
垣崇祖四岁时，就很有才能和谋略了，他的伯父豫州刺史垣护之对宗族人说：“这孩子必将使我们门户大发光彩，你们都赶不上他。”刺史刘道隆聘请崇祖做主簿，待遇很优厚。后被任命为新安王国上将军。景和时期，刘道隆请求出任梁州，并启禀皇上要求转任崇祖为义陽王征北行参军，与道隆同行，被派还下邳召募人马。
(宋)明帝即位后，道隆被诛。薛安都反叛时，明帝派遣张永、沈攸之北讨，薛安都使其部将裴祖隆、李世雄占据下邳。祖隆招崇祖来共同抗战，正赶上有青州援军主将刘弥之背逆归降，祖隆的士卒沮丧败北，崇祖和亲近数十人夜救祖隆，并和他一起逃回彭城。敌虏既攻陷了徐州，崇祖仍为虏率领游兵在琅笽一带，不能回来，虏也不能制约他。崇祖暗中派人到彭城迎取其母，打算南逃，事情败露，虏便扣住其母作人质。崇祖的妹夫皇甫肃的兄妇，是薛安都的女儿，故此虏很信任皇甫肃。皇甫肃便带着家属和崇祖的母亲逃往朐山，崇祖于是带领部下占据了朐山，并派使者归顺朝廷。太祖(萧道成)当时在淮陰，便行文任命垣崇祖为朐山戍主，并把他的母亲送到京城，明帝接受了。
朐山靠近海边，形势孤险，人心未安。崇祖便经常在水边浮以舟舸，如遇紧急情况便可以乘船入海。军中有得罪的将领叛逃，把情况都报告了虏方。虏伪囗豕城都将东徐州刺史成固公刚得了青州，听叛者之说，便派步兵骑兵二万人袭击崇祖，兵驻洛要，离朐山城仅二十里。崇祖当时送客人还没回来，城中惊恐，都下到船上准备入海去。崇祖回来，对心腹说：“贼方刚才来，本不是要大举进攻，只是要证实一下叛者所说的情况，很容易迷惑。现在如果有百余人回来，事情就好办了。但人心一害怕，便不能集中。你们赶紧到离此二里外处大叫而来，高叫‘艾塘义人已攻破敌虏，正等着戍军速往，相助逐退’。”船中人听了果然大喜，又争相上岸，崇祖带领他们入据城上，把老弱之人都送到岛上。又令人持着两个火炬登上山头，擂鼓呼叫。虏方参骑以为这边军备甚盛，于是退去。
垣崇祖上启明帝说：“淮北一带的士民，受胡虏所蹂躏，人心向往南方，日夜盼望得到解救。我的父亲、伯父都曾在淮北州郡任职，我们垣氏的门族分布在北方边境一带，老百姓对我们怀有信任，一旦号召起来，就可以成就事功。不过我现在名位还轻，不足以威服众人，我请求朝廷借给我名号，我也好对远近之人发号施令。”明帝便任命他为辅国将军、北琅笽、兰陵南齐书二郡太守。逃亡分子司马从之来袭击郡城，被垣崇祖抓住砍了脑袋。他还多次献计献策，打算克复淮北。
这时虏方声言要寇掠淮南，明帝便向崇祖询问怎么办？崇祖启禀说：“最好是轻兵深入，打他个出其不意，这样进可以建立奇勋，退可以让他们死了这条心。”明帝批准了他的方案。垣崇祖带领数百人深入敌境七百里，占据南城，巩固蒙山，号召郡县。虏方率大军前来攻打，崇祖的别将梁湛母亲被虏方扣着，虏方把梁母绑了来，要梁湛对部下说：“大军已去，我们还留在这有什么用！”于是人心动摇，一下子都逃退了。崇祖对左右说：“今天我们要是全退了，一定都没好结果。”于是留在后头和敌人大战，终于把追兵打得大败而回。朝廷考虑到崇祖长期劳苦有功，封他为下邳县子。
泰豫元年(472)，垣崇祖主管徐州，把防守点改在龙沮(在朐山南)。崇祖上启皇上要求放水进入平地，用来阻挡虏方的马匹，明帝征求刘怀珍的看法，怀珍说可以。崇祖便率将吏堵河水(提高水位以便放水)，不成功。虏主帅对伪彭城镇将平陽公说：“龙沮若是弄成了，简直是我国的耻辱，拼死也要争过来。”于是率数万骑兵包抄上来。垣崇祖的马和槊都陷在战阵中无法对抗，只好退回来筑城自守。正赶上老天下雨一连十多日，敌虏只得退去。不过龙沮最后也没弄成。后来垣崇祖又任盱眙、平陽、东海三郡太守，将军之职仍旧。转任邵陵王南中郎司马，又任东海太守。
当初，垣崇祖在淮陰碰上了太祖(萧道成)，太祖看他很武勇，就待他很友好。崇祖对皇甫肃说：“这个人才真正是我们的君主啊！我今天算是碰上真主了！正是所谓千载一时呀！”于是便暗中表现忠诚。元徽末年，太祖有忧虑，便令崇祖接受指示，把家小托付给皇甫肃，带领数百人将入虏境，等待命令。赶上废除苍梧王，太祖便召崇祖率领部下回京来，授他为游击将军。
沈攸之事件平定后，垣崇祖被任命为持节、督兖、青、冀三州诸军事，先后迁任冠军将军、兖州刺史。太祖做皇帝后，对崇祖说：“我刚刚统治天下，夷虏不懂得天命已经归我，必然会兴师动众，以送刘昶为借口前来扰乱。而贼方的第一个攻击目标必然是寿春。而能够对付他们的，非你莫可。”于是崇祖移任使持节、监豫、司二州诸军事、豫州刺史，将军仍旧。封为望蔡县侯，食邑七百户。
建元二年(480)，虏方派遣伪梁王郁豆眷和刘昶，率骑兵步兵号称二十万人，来寇寿春。垣崇祖召集文武人员商议说：“敌众我寡，只能出奇制胜。应当修筑外城以待敌，城既广阔，没有水便不坚固，现在准备筑堰肥水，然后把城淹成三面之险，诸位认为怎样？”众人说：“当年佛狸入侵，宋南平王士卒充足，由于郭大难守，便退保内城。今天的情形，难度十倍于前。自古以来守此城者之所以不筑肥水之堰，都是考虑到地形不便，积水也没用呀。如果一定要这样，恐怕不会合适的。”崇祖说：“你这是只见其一，不识其二。如果放弃外城，贼方必然占据着，他们可以外修楼橹，内筑长围，而我们四周没有屏障，表里受敌，这等于自己坐等着被擒。因此，守郭筑堰决策已定，不允许任何人谏阻！”于是在城西北立堰堵塞肥水，堰北又筑起小城，周围挖掘深堑，使数千人在那儿守着。崇祖对长史封延伯说：“敌虏心贪而欠考虑，必然全力攻打小城，企图破坏此堰。看到此堑狭城小，便以为可以一战而克，便会像蚂蚁一样围着攻打。我放水一激，水急超过三峡，等他们无处逃奔时，便自然沉溺水里。这岂不是小劳而大利么？”虏众由西道集中在堰南，分军从东路肉搏攻小城。垣崇祖头戴白纱帽，乘肩舆上城，打着手式指挥。到天黑时，便扒开了小史埭。水奔泻而下，敌虏攻城之众，漂附到堑中，淹死数千人，剩下的都退去了。
当初，崇祖在淮陰，见了皇上(萧道成)便自称是韩信、白起，别人都不信，只有皇上称许他，崇祖便再拜接受他的指示。等到破虏的启文送到京师，皇上对朝臣们说：“崇祖曾答应为我对付敌虏，果如其言。他一向自比韩信、白起，今天看来真不愧是啊！”于是进崇祖为都督号平西将军，增封食邑为一千五百户。崇祖听说陈显达、李安民都增加了军仪，便上启皇上要求鼓吹横吹。皇上说：“韩信、白起怎么能不特别优待呢！”于是配给他鼓吹一部。
垣崇祖考虑到敌虏还会来寇掠淮北，便请示皇上把下蔡戍区移到淮东。这年冬天，敌虏果然要攻打下蔡，听说内移了，便声言要荡平下蔡城故城。众人以为敌虏会在故城建立据点，崇祖说：“下蔡离我的镇所近在咫尺，敌虏岂敢设立据点；他们其实是要除去故城。我正担心他们逃走不能让我把他们斩尽杀绝呢。”虏军果然来掘平下蔡城，崇祖亲自率众渡过淮河与敌决战，大破敌人，又追杀数十里，杀死和俘虏了数千人。
皇上派的使者入关了解敌情回来汇报了崇祖的战况，皇上下敕给崇祖说：“你看我是那种只守江东一隅的君主么？我现在最缺的南齐书是粮食，你只管给我努力经营田地，到时候自然会把残敌收拾了。”指示崇祖整治芍陂一带田地。
世祖(萧赜)即位后，调崇祖任散骑常侍、左卫将军。不久又下诏让他留在本任上，加号安西将军。随后迁任五兵尚书，领骁骑将军。当初，豫章王有盛宠，世祖做太子，崇祖并不主动去巴结。后来破虏，世祖诏他还朝，并与他密议，便开始怀疑他，于是对崇祖特意礼待，酒后对崇祖说：“外边有些流言，我也干脆挑明了，从今以后，我的富贵就指望你了。”崇祖拜谢。崇祖走后，皇上又派荀伯玉口头传达命令：由于边地有事，要他连夜出发，不得和太子辞别。世祖便以为崇祖心不诚实而怀恨在心。太祖死后，世祖怕崇祖有异心，便调他回来任职。永明元年(483)四月九日，下诏说：“垣崇祖凶诟险躁，少无行业。过去由于军国麻烦很多，便让他出些武力。随着皇运上升，他也不断受到提拔封赏，但他贪得无厌。去年在西边，和外国勾结，其无君之心，已昭然若揭。但朝廷对他特别优待，希望他能改悔。岂料他野心更甚，要谋反作乱，又与荀伯玉同谋不轨，企图互为表里、内外呼应。这些罪状已由宁朔将军孙景育调查清楚，报告了皇上。除恶要除根，垣崇祖罪在不赦。杀了后便把他埋掉，以严肃法纪。”死时四十四岁。儿子垣惠隆，被流放到番禺，死在那里。