张融字思光，二十岁有名。道士同郡人陆修静把白鹭羽麈尾扇赠给他，说：“这既然是异物，就把它献给异人。”最初做官是担任宋朝新安王刘子鸾的行参军。新安王的母亲殷淑仪去世，后来四月八日建斋并且浴佛，僚佐布施钱财多的至一万，少的也不低于五千，只有张融的布施却是一百钱。皇帝不高兴地说：“张融太贫穷了，应当发给他优厚的俸禄。”于是调他出京担任封溪令。他的堂叔张永前往后渚去送他说：“好像听到朝廷旨意，你不久就会回来。”张融说：“不怕不能回来，正恐怕回来又会重新离去。”等到出发，路经险要的高山，獠贼抓住了张融将要把他杀死吃掉。张融神色不动，而作起了带有鼻浊音的吟咏，贼人感到奇异而不再加害他。
他渡海到了交州，在海中遇到了风，他始终没有惧怕，咏叹道：“干鱼自然可以返回它的本乡，而肉脯还能怎么样呢？”又作了《海赋》，文辞诡异激烈，独自与众不同。后来把它拿给镇军将军顾觊之，顾觊之说：“您的这篇赋实在飘逸玄虚，遗憾的只是没有写到盐。”张融立即找来一支笔注上：“淘沙构成白色，熬波析出缟素，积雪堆在和煦的春天，飞霜落在盛暑的道路。”这四句是以后补上的。顾觊之与张融的哥哥很要好，顾觊之死去后，张融自背坟土。在南方与交趾太守卞展交好。卞展在岭南被人杀害，张融挺身前往赴丧。
他被举为秀才，考试对策被录取。任命为尚书殿中丞，没有就任，改为仪曹郎。不久请假为叔父奔丧，途中责罚钱敬道，杖打五十，寄囚在延陵监狱中。大明五年(461)敕令，政事清简的二品官员对僮仆杖打，不得超过十。他被左丞孙缅所检举，被免官。
恢复职位后，主管祠部、仓部二曹。当时领军刘面力战死，张融根据祠部的建议，提出皇上应当哭刘面力，被采纳。又俗人忌讳在正月里打开太仓，张融提议不应该拘泥于小节。不久兼掌正厨，见到宰杀牲畜，回车而去，自己上表请求解职。
又调转为南陽王友。张融的父亲张畅担任丞相长史，刘义宣起事失败，张畅将被王玄谟所杀，当时王玄谟的儿子王瞻做南陽王长史，张融上表请求辞官，没有批准。张融家里贫困想得到俸禄，便给堂叔征北将军张永写信说：“我幼年入学，很早就受到家风的训教，虽然不够聪敏，但已形成习性。布衣服皮腰带，从小就很满足，一筐饭一瓢水，并不觉着不乐。只是家业清贫，人生用项很多，女儿已经长大，需要榛栗枣肉作礼品，男孩已经成人，得用束帛禽鸟为馈赠。从我勤勉做官，十年调动七次，不是为了取代耕田，怎会走到如此光景？从前求做三吴一名丞官，虽然属于错误，现在听说南康缺少太守，希望能够担当。我不懂得门径，门径也可能不知道我，正因为求丞没有得到，所以现在来求郡，求郡得不到，也还可以再求丞。”又给吏部尚书王僧虔写信说：“张融是天地间的一个逸人，晋升不懂得高贵，贬退不知道低贱，实在是因为家贫多年，孤寡伤心，八个侄子都是孤儿，两个弟弟鲁钝虚弱，怎能过于看重俗陋的利禄，增加张融精神的负担。阮籍喜爱东平的土风，张融也欣赏晋平的槛外。”当时的议论认为张融不是很好的管理人才，终于没有实现。
后来他被聘用为齐太傅的属官，逐步提升为中书郎，这是他所不喜欢的。请求做中散大夫，没有准许。张氏自从张敷以来，都是以调理音辞、讲究仪范为特长。到了张融，风格诡奇，坐时常常膝部很高，行走则是拖着步子，翘着身子仰着头，创意很多。见到的人都很惊异，聚集在一起观看好像是集市，而张融丝毫没有惭愧的表情。大家照例同行，他常常迟疑不进。高帝平素喜爱张融，做太尉时，与张融交情很好。见到张融常常笑着说：“这人不可以没一个，也不可以有两个。”即位以后，传下手诏赐给张融衣服，说：“看到卿的衣服粗破，确是具有朴素的情怀。与你这样衣衫褴褛地交往，也会有损于朝廷威望。今天送你一件旧衣服，我想衣服虽然旧了，却胜过新的。是我所穿的，已经让人重新裁剪，适合卿的身材；并送鞋子一双。”高帝出宫到了太极殿的西室，张融进去问安，过了好久才登上台阶，就座以后，皇上说：“为什么这样慢呢？”回答说：“从地上升到天上，照理不应该很快。”当时魏朝君主率军进到淮河又退回去了，高帝问道：“他们为什么忽然来了，又忽然去了？”没有人回答，张融当时坐在下位，高声说道：“由于无道而来，见到有道而去。”公卿都认为反应敏捷。
张融擅长草书，常常自己称赞自己的能力。高帝说：“卿的书法颇有骨力，只是遗憾没有二王的法度。”他回答说：“不光是遗憾臣没有二王的法度，同时也遗憾二王没有臣的法度。”
张融告假还乡，到了王俭那里，出来告别，王俭站在那里举着袖子不往前走，张融便举手招呼王俭道：“颜..说：‘大王前来！’”王俭不得已只好走过去，到了他跟前。张融说：“使张融不变成倾慕权势，而让您成为爱慕贤士，难道不是很好吗？”他常常叹息说：“不遗憾我没见到古人，所遗憾的是古人又没见到我。”
张融与吏部尚书何戢要好，前往拜访何戢，却错误地去找了尚书刘澄。下车进门，便说：“不是。”到了房门望见了刘澄，又说：“不是。”已经到了座席前看着刘澄说：“完全不是。”于是走了。他就是这样奇特。
他又做了长沙王镇军、竟陵王征北咨议，并且兼任记室、司徒从事中郎。永明二年(484)，在总明观举行讲经，诏令朝臣一起去听。张融进去后就坐在一个桌子旁边，私下里找来酒饮了起来。事情结束，他长叹说：“啊呀，仲尼算是什么样的人呢！”被御史中丞到扌为举奏免官，不久又复职。
张融身形矮小，面貌丑陋，精神清明，王敬则见张融皮带很宽，快要到大腿，便对他说：“皮带束得太紧。”张融说：“我又不是步行小吏，束紧皮带干什么？”
张融请假东出，武帝问张融住在什么地方，回答说：“臣在陆地上住没有屋子，在船上住又没有水。”后来皇上问他的堂兄张绪，张绪说：“张融最近东出，没有定址，权且牵了一条小船在岸上住。”皇上大笑。
后来派张融接待和应对北朝的使者李道固，入席就位后，李道固回过头去说：“张融是宋朝的彭城长史张畅的儿子吗？”张融紧皱眉头，悲戚了好久，才说：“先父不幸，名字传播到六夷。”豫章王大会宾客臣僚，张融爱吃烧肉，刚刚布菜完毕，布菜的人就走了。张融想要盐蒜，嘴上终于不说，一直摇动食指，半天才停下来。他出入朝廷，人们都拭目惊异地看着他。
永明八年(490)，朝臣一同庆贺几件吉祥的公事，张融进去拜了拜便起来了，又被有关部门所检举，结果被宽恕。调任司徒兼右长史。竟陵人张欣时担任诸暨令，犯罪判死刑，张欣时的父亲张兴世讨伐宋朝的南谯王刘义宣，官军要杀张融的父亲张畅，张兴世用袍子盖住了张畅而坐在上面，因此得以免死。张兴世死后，张融穿着高鞋给他背土堆成坟墓。到了现在，张融上书竟陵王萧子良，请求代替张欣时去死。萧子良回答说：“这原是长史的一件美事，恐怕朝廷有固定的法律，不能像长史所想的那样做。”调任黄门郎、太子中庶子、司徒左长史。
张融有孝顺的品德，父亲死亡的月份他三旬都不听音乐，侍奉嫂子十分恭谨。他的父亲张畅临终时对几个儿子说：“从前丞相发难，我因为不肯随同将要被杀，因为司马竺超人的援救，得以活了下来，你们一定要报答他的儿子。”后来竺超人的孙子竺微在十一月遇到了母亲的丧事，在家居丧贫困，张融前往吊慰，完全脱下了自己的衣服作为资助，披上牛被回了家。他总是把竺微当成哥哥来对待。豫章王萧嶷、竟陵王萧子良去世，自己因为曾经身为辅佐官，哭得极为伤心。
建武四年(497)，病死，遗令树立白色的魂幡，不用旒作装饰，不设祭品，让人拿麈尾进屋复魂。他说：“我生平所喜欢的，自然当是凌云一笑。用三千钱买棺材，不要缝制新的被褥。左手拿着《孝经》、《老子》，右手拿着小品《法华经》。两个妾在丧事结束后，让她们各自回家。”又说：“我生平的风调，怎么至于让妇人失声痛哭，没有必要在闺阁中暂时停留。”
张融在玄学方面没有师法，而精神的领悟超过常人，高谈起来没有人能够相比。永明年间遇到疾病，写成了《门律》，《自序》中说：“我的文章的体式，大多为世上的人所惊奇，你可以让心做耳朵的老师，不可以让耳朵做心的老师。文章难道有常规的体式吗，但却以有体式为常规，正是应该有它的体式。大丈夫应当删《诗》、《书》，制礼乐，怎么能落到寄人篱下呢？”临死的时候，又告诫他的儿子说：“我的手稿都存放着，通常认为父亲的书不要阅读，况且父亲的音容，都体现在音韵当中。我的看法不同，另外告诉你们一种宗旨。我的文体富于变化，变而屡屡显得奇特，哪里是我的天才出众，但也算是不破坏家族名声。你可以号哭着来看它。”张融的文集数十卷流行在世上，自己命名他的文集叫作《玉海》。司徒褚彦回询问其中的缘故，张融说：“玉是用来比喻仁德，海是推崇皇上的善行。”张氏家族的人物前有张敷、张演、张镜、张畅，后有张充、张融、张卷、张稷。