赵绰字士倬，河东人。生性质朴正直，刚强果决。周朝初年任天官府史，因为恭谦谨慎，做事勤恳，擢升为夏官府下士。稍后，又因精明干练为人所知，任内史中士。因父丧辞官，悲哀过度损坏了身体，世人都称赞他孝顺。隋文帝为丞相时，知道赵绰清廉正直，用为录事参军。升任掌朝大夫，跟随行军总管是云晖打击叛乱的蛮族，因功授予仪同之职。
文帝受禅继位，授赵绰大理丞之职。赵绰执法公平允当，考绩接连都是最好的。历任大理正、尚书都官侍郎，每次奏闻案件，神色端庄，渐渐地受到重视。文帝因盗贼不能禁绝，准备加重刑法，赵绰进谏说“：法律是天下最可信任的，怎么能够失去呢？”文帝高兴地采纳了赵绰的建议，因而对赵绰说：“如果再听到见到什么，应该多多进言。”升任赵绰为大理少卿。
萧摩诃原是陈国的将领，他的儿子萧世略在江南叛乱，摩诃依律应该连坐。文帝说“：萧世略年龄还不到二十岁，怎么能够做这样的事！因为他是名将的儿子，被人逼迫才这样做罢了。”因而赦免了摩诃。赵绰坚决谏阻，认为不可赦免。文帝不能让赵绰屈从，就想等赵绰退朝后赦免摩诃，因而命令赵退朝就餐。赵绰说“：臣上奏的案件没有裁决，不敢退朝。”文帝说“：大理就为朕特别释放摩诃吧！”因而命身边的人将摩诃释放。
刑部侍郎辛..曾经穿粉红色的裤子，俗话说是吉利之官，文帝认为是妖邪，准备将辛..斩首。赵绰说：“根据法律，辛..不应有死罪，臣不敢遵命。”文帝非常愤怒，对赵绰说：“你怜惜辛..，就不怜惜自己吗？”命令左仆射高赹将赵绰斩首。赵绰说：“陛下宁可杀了臣，也不可杀辛..。”到了朝堂，赵绰解衣赴死，文帝派人问赵绰说“：究竟怎么样？”赵绰回答说“：一心执行法律，不敢顾惜死亡。”文帝生气地进去了，很久才把赵绰释放。次日，文帝向赵绰道歉，慰劳勉励赵绰，赐给他物品三百段。
当时，禁止质料薄劣的私人铸造的钱在市面流通，有两个人在集市上用这种劣质的钱换好钱，武候把他们抓起来奏知文帝，文帝令将二人都杀了。赵绰谏阻说“：这两个人论罪应该杖击，杀了他们不合法律。”文帝说“：不关你的事。”赵绰说“：陛下不因为臣愚昧，把臣放在法司的位置，想要随便杀人，怎能不关臣之事？”文帝说：“摇撼大事摇撼不动，应该退下。”赵绰回答说：“臣希望感动天心，何论摇撼大树！”文帝又说：“喝羹的话，热了就放下。天子的威势，想要挫动吗？”赵绰拜礼而又向前，文帝斥责他也不肯后退。文帝于是就到内室去了。书侍御史柳..又上书奏请，直言切谏，文帝才作罢。文帝认为赵绰有忠诚正直之心，常常引入内室，有时遇见文帝和皇后同榻，文帝就招呼赵绰坐下，议论得失。前后赏赐的财物以万数计。后来，晋位开府，追赠其父为蔡州刺史。
当时，河东薛胄任大理卿，和赵绰都以公平宽恕闻名，然而，薛胄裁断刑狱根据情理，而赵绰则是遵守法律，都认为他很称职。文帝经常对赵绰说：“对于卿，朕没有什么好爱惜的，只是卿的骨相当不得富贵。”仁寿中，赵绰死于官任，文帝为赵绰之死痛哭流涕，派遣宫中使者前往吊唁祭奠，鸿胪监护丧事。二个儿子，名赵元方、赵元袭。