司马子如，字遵业，自称是河内温地人，迁移到云中居住，因而在那里建起家业。
他初任怀朔镇省事，与齐神武帝高欢相识，两个人情谊很深。北魏孝明帝孝昌时，北部州郡沦陷，他向南逃向肆州，被..朱荣所信任，封为平遥子，不久，迁任大行台郎。..朱荣死后，他随..朱荣的妻子和..朱世隆等人离开京城洛阳。节闵帝即皇帝位，积累他前后建立的功勋，给他晋爵为阳平郡公。高欢进入洛阳，任命他为大行台尚书。他天天与高欢在一起，参与军国大事的谋划。东魏天平初年，他被任命为尚书左仆射、开府，与高岳、孙腾、高隆之等人共同执掌朝政，很被信任和重用。高欢坐镇晋阳，他常常去谒见。回来时，神武帝高欢和武明后都给他馈赠礼物，这已是习以为常的事情。
他的性情豪爽，再加上倚仗自己是德高望重的旧臣，在处理公务时，专断任性，公然接受贿赂。兴和时，他以北道行台的身份检查各州郡守令以下的官员。到定州，他将深泽的太守斩首；在冀州，他处死了东光的守令。这些人都被关进监狱，施以残酷的刑罚。下面的官员举动稍不符合他的心意，他都命随从的武士马上拉过来，把刀架在他们脖子上。官吏们惶恐不安，无所适从。后来他又转任为尚书令。
文襄帝高澄辅弼朝政，子如因贿赂的事被御史中尉崔暹弹劾，在监狱里被关了一个晚上，头发就全部变白。他替自己辩解说“：我从夏州拄了根棍子投奔相王，相王送我一辆不带篷幔的车，车上套着一头母牛和一头牛犊。牛犊在道路上死去，只剩下长着弯曲的双角的母牛。其他东西，都是他人得到的。”高欢也写信告谕高澄：“司马子如是我的老朋友，你应该宽大他。”高澄看信后在大街上停下马，命将子如从狱中提出，去掉他身上的枷锁。他很害怕，问：“该不是要杀死我吧？”于是，免去他的官爵。高欢后来见到他，可怜他面容憔悴，让他爬在自己膝盖上，亲自给他逮头上的虱子，赐给他酒一百瓶，羊五百只，粳米五百石。他发牢骚说：“没有事还被囚禁，几乎死掉。如果这样，难道还有生路吗？”不久，朝廷又起用他为冀州刺史。他能够接受教训，严格自律，因而颇有声誉。朝廷下诏恢复他原来的官爵，另外封为野王县男。文宣帝高洋接受东魏孝静帝的禅让，即皇帝位。司马子如因参与此事有功，另外又被封为须昌县公。不久，又被任命为司空。
他的性情滑稽，不加检点和约束。说话多戏谑污秽，认识他的人都因此非议他。而他对姐姐很有礼貌，抚养弟兄们的孩子也很慈爱诚笃。对待当时的名士，他很钦敬喜爱，人们又因此称赞他。然而，他却没有耿直公正之心，不能按公平正道处理事情。高澄主持朝政时，中尉崔暹、黄门郎崔季舒都被重用。高澄去世后，崔暹等人都到晋阳。司马子如因崔暹过去曾纠劾过他，便奏报文宣帝，捏造他们的罪状，劝文宣帝诛杀他们。后来，他把马匹悄悄运出关外，被有司举劾。文宣帝斥责他说：“崔暹、崔季舒侍奉我的先世，有什么大罪，你却让我杀死他们！”因而将他免去官职。过了很久，文宣帝又认为他是先帝的旧臣故交，封他为太尉。不久，他因患病去世。