常衮是京兆府人，天宝末年，考中了进士。生性崇尚廉洁，不随便与人交往。
从太子正字官，升至中书舍人。文章严密华丽，擅长写诏令公文，在当时很有名望。鱼朝恩仗着皇帝宠信，兼管国子监。
常衮上奏说：“太学主持人，应任命有名的学者，不应由宦官主管。”当初，回纥助唐立有战功的人，可以留住京城，这些异族人生性骄横，后来他们建有府第、佛堂，有时在里面隐藏着军队。多次到中渭桥，和驻军争斗，把含光门的符信抢走跑到城外去。常衮上奏说“：现吐蕃在边境游弋，多次入侵，如果和他们勾结起来，趁我们没防备时动手，那祸害就大了，应早点除掉他们。”皇帝过生日，各地争着献奢华的礼品，或者设道、佛教法事来消灾求福。常衮认为“：汉文帝不接受千里马，晋武帝烧毁了用野鸡头上的毛做成的皮衣，南朝宋高祖打碎了琥珀做的枕头，这三位君主，并不是有特别的圣明治好了国家，只是严格要求自己做臣下的榜样。现各地献上的东西，都是奢侈不急用的，节度使、刺史又并非自己生产，都是从老百姓那里来的，这是搜刮老百姓来向皇上讨好，请求全还给各地。
现战乱尚未平息，京城一带户数都不到以前的十分之一，但各寺庙却抄经文、造神像、烧礼物、埋璧玉，为此赏给僧人、道士、巫师等的钱财，每年极多。皇上如用这钱来买粮草，以减轻贫穷老百姓的赋税，国家的福分就享用不尽了！”唐代宗称赞并采纳了他的话。后升任礼部侍郎。当时宦官刘忠义权力大到使全国人害怕，泾原节度使马瞞也受皇帝宠信，求他行方便，他都拒绝了。
元载死后，他被任命为门下侍郎、同中书门下平章事，又任弘文、崇文馆大学士，和杨绾一起掌权。杨绾厚道通达；常衮则苛刻琐碎，以清廉节俭自负。皇帝内心看重杨绾，故一心任用他，在礼节宠信上，常衮比不上，总是忌妒。到杨绾去世了，常衮才开始当权。
此前，群臣俸禄少，经讨论予以增加，当时韩..任度支职，和常衮都随私心处理。韩..讨厌国子司业张参，常衮讨厌太子少詹事赵..，就都少加俸禄。太子文学是太子洗马的副手，常衮亲戚任太子文学职，俸禄比太子洗马还多。他的利己招怨都和这相似。按旧规矩，每天送宫内厨房的饭菜给宰相家，每家可供十人吃，常衮上奏取消了。他又想取消政事堂的公膳，其他的宰相不同意，才算了。政事堂北门是过去宰相到舍人院咨询政务用的，常衮堵住了这门，以表示地位尊贵。鉴于元载被治罪，他禁绝了受贿卖官的路，但所有官员都按规定任用，不是中科举的都不任用，所以当时人称他为“胡涂宰相”，因为他胡里胡涂不分好歹。
常衮任宰相后，闲职只是朝议大夫，又没有爵位。郭子仪对皇帝说了，才升任银青光禄大夫，封爵河内郡公。唐德宗登基后，常衮上奏贬崔..甫任河南府少尹。皇帝后来生气了，让他和崔..甫交换官职，后又贬为潮州刺史。
建中初年，杨炎当了宰相，起用他任福建观察使。先前，福建人不知道学习，常衮去了，为他们设立学校，教他们写文章，亲自讲学指导，对他们行客人和主人平等的礼节，一起参加游览和祭神的仪式，从此风俗有了较大改变，每年经乡贡考试合格送京参加会试的人和内地各州相等。他任此职时去世，享年五十五岁。
赠官为尚书左仆射。据说后来福建人每年春秋两季把常衮的牌位放到官学接受祭祀。