也速该勇士在儿子铁木真九岁之时，把他带到呼伦泊之东的翁吉剌惕部，想去斡勒忽讷兀惕族那里替他找一个媳妇。这斡勒忽讷兀惕族正是也速该的夫人诃额仑的娘家。
也速该勇士在中途遇到翁吉剌惕部婆速火族的首领德薛禅。德薛禅爱铁木真“眼中有火，脸上有光”，不让也速该勇士再到斡勒忽讷兀惕族去找媳妇，而坚持把自己的十岁女儿孛儿帖许配给铁木真。并且，要留下铁木真在自己家里住一些时候。也速该勇士答应了。
不料，当也速该辞别德薛禅，向斡难河的家走去，在扯克扯儿地方的“黄色旷野”碰到了不知属于何族的若干塔塔儿人在宴会，因为口渴，便坐下来参加。他们的态度似乎很友善，也速该喝了几杯，吃了一顿，离开。他吃进了毒药。三天以后到家，毒已大发，疼痛难忍，便叫人去德薛禅那里，把铁木真接了回来。没等到这人出发，也速该已经断气而死。（这是《蒙古秘史》的说法。洪钧在《元史译文证补》里说，铁木真在岳父家里住了四年，到了十三岁的时候，也速该来看他，才在归途中毒而死。）
铁木真于是回家，陪着寡妇母亲与三个同胞弟弟，一个妹妹，两个同父异母的弟弟，过十分艰苦的日子，受到很多次打击。
首先受到的打击，是被俺巴孩可汗的一房本家撇弃。这一房本家，叫做“泰亦赤兀惕族”（《元史》中的泰赤乌部）。这个族名的字义，可能是“太子族”，源于俺巴孩可汗的儿子合答安太子。（合不勒可汗的子孙，包括铁木真，叫做乞牙惕族。）“乞牙惕”作为族名，源于也速该的胞兄忙格秃·乞颜。
从合不勒可汗到忽图剌可汗，汗位在由大房乞牙惕族和二房泰亦赤兀惕族轮流。忽图剌属于大房，他死后，该由二房的合答安太子当可汗了。当了没有？《蒙古秘史》上一字未提。
但是，在《圣武亲征录》里面却有一位“阿丹汗”。很像是：合答安太子在忽图剌可汗死后，不曾当选为全蒙古的“可汗”，而只是泰亦赤兀惕一族的“汗”。同时，也速该或忽图剌可汗的儿子拙赤，作了自己一族（乞牙惕族）的领袖。
《圣武亲征录》说：“初，泰亦赤乌部长别林，旧无怨于我，后因其主阿丹汗二子塔儿忽台，忽邻拔都，有憾，遂绝。”别林，王静安先生以为就是俺巴孩的祖父想昆·必勒格。忽邻拔都，我以为便是脱朵延·忽邻勒。
“有憾”的经过，《圣武亲征录》没有说。《蒙古秘史》却说得很详细：“有一年春天，俺巴孩的两个‘后妃’，斡儿伯与莎合台，到祭祖的地方（坟墓）举行‘烧饭’（焚化食物），故意不等候诃额仑，以致诃额仑‘到的晚了’，什么祭品也没分得着。诃额仑一怒之下，说‘也速该勇士死了，我的儿子将来怕长不大！……眼看……起营的时候也不与呼唤了！’两个后妃说：‘……正因为俺巴孩可汗死了，甚至诃额仑都这般的说！’这两个后妃又向下边的人说：‘论起来呵，就这般做！（她既然说，眼看起营的时候也不与呼唤了，那我们明天）把他们母子撇在营盘里。起营走时，不携带他们。’”
果然，第二天，泰亦赤兀族的塔儿忽台胖子与脱朵延·忽邻勒就吩咐大家起营，顺着斡难河搬走，把诃额仑母子撇下，并且把若干“收集来的百姓”裹胁了去。有一位好心的老年人，晃豁坛族的察剌合，追上前去劝阻，却被脱朵延剌了一枪，鲜血直流。
诃额仑夫人擎起也该速留下的牛尾缨子枪，自己上马去追赶那些跟着泰亦赤兀惕族跑走的人，“阻止住一部分的百姓”。“但那些被阻留的人，仍然不能安顿下去，又陆陆续续随着泰亦赤兀惕人迁徙走了！”
然而，诃额仑夫人越受挫折，勇气越大。她“系着短上衣，沿着斡难河上下奔跑，拣拾杜梨、山丁（野李子），抚养她的幼小的儿子们，白日夜里，获得温饱。”“美丽聪慧的夫人，用韭菜野葱抚养长大的儿子们，都成了不知畏缩的好汉。既到膂力过人的时候，都是斗志高昂，敢作敢为。他们……用火烤弯了针，当作钓钩去钓细鳞白鱼和骖条鱼；用结成的鱼网去捞小鱼和大鱼：如此报答着、奉养了他们的母亲。”
他们兄弟六人，除了太小的合赤温与帖木格以外，其余四人常常在一起钓鱼、射鸟。不幸，由于其中有两人不是诃额仑所生，就和她的亲生儿子渐渐分了派别。铁木真与合撒儿是一派，异母的别克帖儿与别勒古台又是一派。
这两派终于来了一次小规模的火并。
有一天，铁木真与合撒儿用除去箭头的箭，射得了一只小鸟，却被别克帖儿与别勒古台抢了去。
第二天，他们两人钓得了一条金光灿烂的小白鱼，又被别克帖儿和别勒古台抢了去。他们跑回家告诉母亲，母亲不责备抢鱼的人，反而把他们两人训了一顿。
他们两人“怒从心上起，恶向胆边生”，就在当天瞄准了别克帖儿，将他射死，别克帖儿在临死之前，求他们饶了别勒古台的性命。他们果然便把别勒古台饶了。
母亲诃额仑在知道消息以后，狠狠地骂了他们两人一顿，骂过了也就算了。（别勒古台从此也不再和他们闹派系，追随他们一直到打平了天下以后。）
然而，作为领袖部落的泰亦赤兀惕族，尤其是该族的族长，塔儿忽台胖子，却不肯放过这个来找麻烦的机会。他们带了武器来到诃额仑母子所住之处，加以包围，说：“只捉铁木真一人，别的人都没有事。”别勒古台很好，他折断了木头，扎成篱笆，帮大家赶做寨子，让铁木真逃进森林。
铁木真在森林里躲了九天，找不到吃的，终于走出来，束手就缚。塔儿忽台胖子把铁木真上了枷，叫人押解到各处的“村营”里示众，在每一个村营住一夜。过了若干夜，在一个皓月当空的晚上，泰亦赤兀惕族的人正在饮酒作乐，铁木真歪头，弯腰，用自己项上的枷，把看守他的人的头打昏，然后飞奔，奔到斡难河边的树丛里躺下，躺了一阵，跳进斡难河，仰面而泳，藉着枷的浮力，顺流而下。
不久，塔儿忽台胖子下令，点起火把分途搜捕。有一位叫做锁儿罕·失剌的，本身不是泰亦赤兀惕族的人，而是泰亦赤兀惕氏脱朵格的仆人。他一向看不惯泰亦赤兀惕族欺负诃额仑母子的行为，偏偏这晚找到了铁木真的是他。他向铁木真说：“正因为你眼中有火，脸上有光，所以才引起了你的泰亦赤兀惕兄弟们那般嫉妒你！你就这样小心地躺在水里罢！（放心好了）我不向他们说。”这天夜里，塔儿忽台胖子叫大家再找一次。锁儿罕·失剌再度来到铁木真躲藏之处，叫他小心。机警的铁木真，候到人声静寂以后，偷偷地走到锁儿罕·失剌的住处来，“请求庇护”。锁儿罕·失剌的两个儿子与一个女儿对他表示欢迎。父子四人，卸开铁木真的枷，烧了灭迹，把他藏在装羊毛的车子里。三天以后，有人来查，查到了这装羊毛的车子。锁儿罕·失剌说：“这么热的天，羊毛里怎能受得了？”查的人也就跳下车子走了。
锁儿罕·失剌作了铁木真的救命恩人。（其后，铁木真当了可汗，锁儿罕·失剌受封为免税的千户侯。领得色楞格河流域一大片牧地。他的小儿子赤老温，作了“四杰”之一，大儿子沈白，也立了不少战功。女儿合答安，作了铁木真的妃子。）
铁木真脱险以后，回到临时的寨子，已经看不到母亲与弟弟妹妹。找了很久，才在斡难河的一条支流乞沐儿合小河旁边的一座孤独的小山之中，找到了他们。不久，全家搬到桑沽儿小河边的黑锥山之下，扎了帐篷住。
太平日子过了不久，又被马贼欺负。马贼在一天之中，拐走了八匹骟马（阉了的马）。勇敢的铁木真年纪虽小，却有心担起家长的责任：他单枪独马去找。中途，遇到了一位富家子孛斡儿出，一见如故，愿意陪他辛苦。两个人骑着两匹马，又奔了三天，找到了那八匹骟马，套了回来。马贼听到动静，追了来，铁木真撑满了弓，搭上箭，瞄准。马贼心里明白，犯不着为了那八匹本来是属于人家的马，送自己的性命。
从此，孛斡儿出作了铁木真的好朋友。不久，在铁木真结婚以后，他瞒着父亲——财主纳忽，来到铁木真家，日积月累地用弓用刀用枪，把铁木真捧成了可汗。他自己也成了“四杰”之一，实际上可称为四杰之首。（除了他和赤老温以外，其他的两杰是木华黎与孛罗忽勒。木华黎替铁木真灭了金朝，孛罗忽勒勇冠三军，不幸早死，阵亡于讨伐豁里秃马敦族之役。）
铁木真能有孛斡儿出那样的朋友，真是一生的幸福。刘备当年能有关羽、张飞，情形颇与此仿佛。刘备的“帝国”远不及铁木真的庞大，然而他以仁义立国，可谓自有其千秋。铁木真与刘备这一类型的人，大都是慷慨豁达，因此而常常“盛意可感”，叫一些做朋友的愿意改作部下。
赤老温和他的父亲与哥哥，一时尚未能前来追随。他们要等到泰亦赤兀惕氏灭亡以后，才肯过来。铁木真最初所能倚仗的，可说是仅有孛斡儿出与者勒篾二人而已。
者勒篾是兀良合族的人。他爸爸叫做札儿赤兀歹老人。爸爸把他带了来见铁木真，说是要送他给铁木真“备马鞍子，开屋门使唤”。实际上，两家是世交。
这时候，铁木真也结了婚，势力蒸蒸日上。