公之父名彦昭，字英复，乃笃厚君子也。累德积行，好善喜施。年近四旬，每以无子为忧。忽一夜，梦一神人红袍金幞，立于彦昭前曰：“吾感汝祖父侍奉之诚，顷当为妆之嗣，汝宜勿泄。”彦昭辞谢不敢当。神用手一指，觉来，忙对妻刘氏说知。刘答曰：“我适才亦得此梦。”自后刘氏有孕。临产之际，正值大雨如注，雷电交加。偶然三司参谒巡按，一时骤雨，手下人役不曾带得蔽雨之物，因而暂歇彦昭门首，候雨住而行。当时于公产下，少刻晴朗，日丽中天。此是洪武戊寅年四月二十七日午时也。三司见雨霁遂行。
于公生下旬月之间，果然容貌魁伟，呱呱之声洪朗异常。杭族有弥月之庆，邻里亲友俱来贺喜。彦昭乃抱公出来，与众亲友观看。有邻老见之，叹羡曰：“此子真英物也！惜吾年老，不能见其显达，为可叹耳！”自后彦昭极其珍爱。抚养至四五岁时，遂取名曰谦。因梦中谢神不敢当之意，故名曰谦。
一日清明节届，彦昭同弟彦明，拉挨人领公同往祖茔祭扫。因过凤凰台，其叔携公之手，同上台观看。叔曰：“今朝同上凤凰台。”公即应声答曰：“他年独占麒麟阁。”其叔并诸族人闻言，悉皆惊叹曰：“此吾家之神童也！”后于公七岁，又同叔父等祀祖回家，路从癸辛街过。见牌坊上写着“癸辛街”三字。其叔彦明对公曰：“癸辛街三字，上二字合着甲子支干；下一字又合着街道地名。吾一路思量，不能有对，汝若对得好时，我做一件小圆领与你。”于公笑而答曰：“此对何难？癸辛街可对子午谷。”其叔曰：“此真切对。但子午谷偶忘出处。”公即答曰：“《三国志》内，蜀将魏延对诸葛亮道：‘延愿得精兵五千，由陈仓道而东，当子午谷而西，不消十日，可到长安。’《通鉴》上亦有之。”叔与众闻说大惊，谓兄曰：“此子必昌吾家，宜善育之。”彦昭与弟并族人领公回家，明日彦明果制一小红圆领与公，乃曰：“他日服此以耀吾门。”公答曰：“敢不佩服。”惜乎彦明早亡，不及见公之功业，亦可慨也。
父彦昭一日同公立在门首闲玩。少刻，见一老者挑担新白鲞来卖。彦昭见之，唤此老问价。因价还得少，那卖鲞老者口中即唠叨曰：“你如何买得成新白鲞。”彦昭见说，面色通红，未及回言。忽然公从父肋下立将出来说：“我偏要叫你这老乌龟。”卖鲞老者见公是个孩子，便能骂人成对，心中惊异，乃大声骂曰：“小猴狲开口伤人。”公又应曰：“老畜生闭嘴饶你。”旁人见答，通笑起来，皆称奇异。卖鲞老者见公有此口才，心中惊服。
彦昭送公上学，公在学读书。一日先生出外访友，不在馆中。同窗学生在与公跳跃，共作旋蒙顽戏。忽然，先生走到，一时回避不及。先生看见，俱要责罚。于公忙上前禀曰：“先生不必加责，学生辈功课皆完，一时乘闲戏耍。如今任凭先生背书写字对课，若有一毫差错之时，任从先生责罚。”先生见说有理，即曰：“吾方才见汝旋蒙窜跳，甚是顽劣。吾即将此为题，汝若对得好时，方免责罚；如其不然，必当重责。”公曰：“请先生出题。”先生曰：“手攀屋柱团团转。”公即对曰：“脚踏楼梯步步高。”先生又出一对曰：“三跳跳落地。”公又答曰：“一飞飞上天。”先生见对大喜，免责，欲责诸生。公复禀曰：“学生蒙师宽恕，亦乞一视同仁。”先生见说，击几叹曰：“此子长大，非凡品也！”
翌日，其父彦昭来拜先生，先生极口称公。因与父谈久，公嶷然端坐读书。先生见之，曰：“子坐父立，礼乎？”公闻言，即出位而对曰：”嫂溺叔援，权也！”先生惊喜，谓其父曰：“令郎真英才也！”公父答曰：“不敢，皆仗吾师训海之功。”言毕，作别而回。延过数月，先生解馆。于公忽然病目，其母与公分开顶心，挽一丫髻，取其清目之意。公乃闲步，见前街一伙人丛聚闹嚷。公即往众人中挨身进去，看见一僧与人相面。众皆称曰：“果神相也。”于公闻言，乃慢慢挨到此僧面前。此僧一见公容貌，乃大喜异。遂用手们其丫髻而戏之曰：“蛇头且喜生龙角。”公即昂面答曰：“狗口焉能出象牙。”众人见回此言，尽皆大笑。忽然天暗，渐渐雨下，众人一济走散。公亦急急回家，不意眼痛路滑，蹉跌在地。众人见了，一齐哄笑起来，公虽跌倒在地，颜色不变，因见众人笑他，即坐地吟诗一首以诋之，云：
雨落忽绸缪，天街滑似油。
麒麟跌在地，笑杀一群牛。
众人见于公口中念出诗来，各各惊异称羡。公亦回家。
明日晨起梳头，谓其母曰：“今日眼目甚痛，乞母亲再挽一髻，导散顶心之火气。”母遂依公，乃挽三髻于上。早饭罢不多时，公又见一丛人围绕昨日那僧，仍在此处相面。公即往人丛中挨身进去。有人认得于公，皆让他进围。公遂立在此僧当面，那僧一见，喜动颜色，即扪其首而戏之曰：“三丫如鼓架。”公即答曰：“一秃似檑槌。”众人见说，一齐大笑。那僧见笑，即对众曰：“诸君莫笑，此子骨格非凡，人莫能及。他日乃救时宰相也。”言未毕，只见旁边立着一人，纶巾羽服，丰姿飘逸，气宇轩昂，乃大声言曰：“和尚，汝之相术甚佳，惜未尽其奥理。”那僧见其人之容貌、语言，即忙施礼。众人见僧不相面，与那人会礼，皆散去。公亦回家。此僧就收拾相面行装，即请那道者同行，行不百十余步，早见一处雅致酒肆，僧人坚请道者进内而坐。不知道者何人，观后传可晓也。