齐遆，字洗心，是定州义丰人。少年时就很聪颖。十四岁时去见到特进李峤，李峤称赞他有王佐之才。
中宗在武后称帝时又成为庐陵王。
那时，齐遆曾上言请稍抑制各武姓人的权势，将太子迎回东宫，武后不做回答。
及至太子回京，武后召齐遆在同明殿宴饮，对齐遆说：“我母子能和好如初，你出了不少力。我不会亏待你。”齐遆以母亲年老不能远离为理由向武后辞谢，得了赏赐后回家。圣历初年，考中进士，因特别优秀，调任蒲州司法参军。有父子两人被牵连都判了死罪，齐遆说：“枝条都砍了，树根也就枯死了，怎么可以父子都判死呢？”建议宽恕父亲。太守不听，齐遆反复争论，终于赦免了父亲。景云初年，姚崇取他为监察御史。齐遆每有检举，常常风教在先，当时称之为善职。睿宗将祭祠太庙，刑部尚书裴谈代理太尉，先去告庙。齐遆上奏：“祭告宗庙，孝享之事，应该头至地稽首而拜，是为了对神明表示恭敬。而裴谈轻率不恭。”同时揭发裴谈“：昏庸污浊，挟邪而欺上。神龙年中，依附武三思，陷害敬晖，抄没敬晖的家以获取进身。其妻外有情夫。有告神时怠慢，事主不忠，治家不严三种罪状，不可不绳之以法。”裴谈因此下降为汾州刺史。
开元初年，姚崇恢复宰相职位，用齐遆为给事中、中书舍人。他若撰文有所论驳或草拟诰诏，都要援引古法古义，朝廷大政都要问问他，当时称他为“解事舍人”。齐遆多次暗示姚崇年老了应该退位。那时，宋瞡在广州，于是劝姚崇推荐宋瞡接替自己，姚崇照他的话做了。宋瞡为宰相，有一天问齐遆：“我不敢自比房玄龄、杜如晦，但比近来的几位如何？”
齐遆回答“：比不上。”宋瞡问原因。齐遆说“：前些时近郊有三百户，尚且觉得困窘。现在不到一百户了，由此就可以得知。”马怀素等人来编次四库书，上表推荐齐遆任副职，乃改任秘书少监。
出京任汴州刺史，汴州是交通要道，车船齐集，事情很多，以前的刺史好几任都不称职，只有倪若水与齐遆以清廉果毅闻名，吏民都称颂。玄宗封禅泰山时，历经汴州、宋州、许州，车骑有好几万，王公、嫔妃、公主、四夷君长的马、骆驼也有好几万。休息进餐时绵延几十里。齐遆建设长棚，帘幕相互连接。每次奉上食物要几千车，齐遆亲自奉进膳食。皇帝认为他知礼，很高兴，因而留下三天，赐帛二千匹。齐遆因为从淮到徐城一段湍流险急，乃凿渠十八里，汇入青水，漕运因此便利。
中书令张说选择丞宰，以王丘为左丞，齐遆为右丞。李元..、杜暹执政时，表荐宋瞡为吏部尚书，齐遆及苏晋为侍郎，当时称之为“台选”。齐遆曾奏事，皇帝指着政事堂说：“这地方除了你，谁还有资格在里面？”
那时，开府王毛仲甚为得宠，与龙武将军葛福顺相互婚嫁。王毛仲有什么奏请，没有不得到允许的。齐遆找机会奏说“：葛福顺主管兵马，与王毛仲结为姻亲。小人得宠多了就会生奸心，不做预防，会有后患的。高力士为人细心，严谨有礼，可以用作禁中的驱使者。心腹所能委托的，不一定是王毛仲。”又说：“君如果不能守秘将会失去臣子，臣不能守秘将会失身送命，希望陛下秘守今天的谈话。”皇帝接纳他的建议，且慰抚他说：“你只管放心出去，我会慢慢设法的。”正逢大理丞麻察犯了事，贬为兴州别驾，齐遆去与他饯别，提到对皇帝的劝谏。麻察一向奸诈狡猾，即刻将此事上告。皇帝大怒，把齐遆召到殿中，对他说“：你前时担心我不能保密，而你反而去告诉麻察，这是怎么说？何况麻察轻率无德，是常去太平门的人，你难道不知道吗？”齐遆摘下官帽谢罪，被贬为高州良德丞，麻察再贬为皇化尉，其党羽齐敷、郭禀都遭流放。
很久以后，齐遆调为索卢丞、郴州长史、濠州常州二州的刺史。又迁到润州，州的北面是瓜步沙尾，有六十里迂回曲折处，船很多在那里倾覆。齐遆改变漕路，由京口埭，治理伊娄渠，直达扬子江，就再也没有翻船的事发生了，还节约了运费几十万。另设立伊娄埭，官征其税入；又招回流亡在外的人五百户，设置明州安顿他们。于是又调齐遆任汴州刺史。
齐遆中年失势，心中惆怅而懈怠，自律放松，倚仗了高力士的帮助，才得任两道采访使，努力兴利使天子中意，又搜集财货送给高力士做酬谢。娶了刘戒的女儿为妾，不理睬妻子。李林甫厌恶其丑行，想排挤掉他。正好，他的幕府受贿被告发，案情牵连到齐遆。皇帝怜恤齐遆年老，诏令放他回归乡里。天宝初年，又招为太子少詹事，留司东都。严挺之也被李林甫排挤废官，与齐遆家居，每日来往。李林甫怕他们有什么，又用齐遆为平阳太守，把他们两人分开。齐遆复为官，以黄老之说以清静简政治理。死时年七十二岁。肃宗时，查检被李林甫陷害的人，都昭雪褒奖，所以追赠齐遆为礼部尚书。
齐遆曾经称赞陈希烈、宋遥、苗晋卿、韦述等人有才。这些人后来都甚显赫。