吕布在钜野吃了败仗，回不了定陶，带了陈宫、高顺等一批人，其中有一个姓张名辽的在内，慌慌忙忙，奔到下邳城，来投徐州牧刘备。刘备把他们安插在小沛居住，一住就是一年多，刘备没有想到，这穷无所归的，偷了兖州又丢掉兖州的吕布，会有一天也要偷占他的徐州。
这已经是建安元年的冬天了。这一年，秋天里发生一件大事，那便是曹操走到洛阳，从韩暹手中，夺到由长安逃出来的汉献帝，送到许昌，自为献帝的“大将军，录尚书事”，以此发号施令，挟天子以令诸侯。他意图拉拢刘备，就用汉献帝的命令，封刘备为宜城亭侯，拜为镇东将军，刘备很高兴地接受下来。
也许吕布是因为看见曹刘交欢而心中不安，他和曹操，为了兖州的地盘而结下了如此深仇，如何能看见刘备受曹操之命而不害怕？
同时，袁术也在勾结他，煽动他。讲起当时的派系来，袁术与刘备同为公孙瓒的朋友，都是袁绍的敌人，原应该站在一起（袁术与袁绍本是同父异母的弟兄，却为了种种原故，已经变成仇敌）。但是，刘备的徐州，与袁术的地盘邻接，袁术野心勃勃，意图并吞，所以顾不到什么立场，便派兵来打，刘备也亲自出马，加以抵抗，相持于淮河两岸。曹操原属于袁绍的一派，和袁术是对头，极恨吕布。他想拆散刘备与吕布的结合，所以就赶紧夸奖刘备，封他为侯，拜他为将军，也顾不得当初他打陶谦的时候，在下邳城吃过刘备的亏。
在袁术呢，既然已经和刘备打仗，自然什么方法都要用，所以就写了一封信给吕布，叫他从小沛偷袭下邳，答应先送他军米二十万斛。
吕布果然照办，下邳是徐州的首县，守将二人，一为陶谦的旧部下曹豹，一为张飞，曹张二人感情不睦，曹豹做了吕布的内应，下邳入于吕布之手。
刘备尚在淮河前线与袁术对垒，听到消息，赶快回来，已经来不及了，并且老婆与儿子均陷在下邳城中（这位老婆娘家姓什么？这个儿子名字叫什么？现在却难考定）。刘备退兵到广陵郡，想来想去，只有向吕布投降的一个办法，吕布也居然答应，把刘备接了回来，安顿在当初刘备安顿他的地方：小沛。
刘备不敢再自称为徐州牧，吕布却自称为徐州刺史来。为了客气，吕布请刘备自称豫州牧。
袁术听到吕布偷得下邳，以为目的已达，就赖掉二十万斛军米，不肯送来。这与吕布之接受刘备投降不无关系。
后来，袁术又听到吕刘二人言归于好，吕布指定小沛给刘备驻防，便赶紧派了大将纪灵，带了三万兵来围小沛，在离城不远的地方，遇到吕布也带来了步兵一千，骑兵二百，赶来调解。辕门射戟的一出，在此演出，纪灵慑于吕布的威名，居然退兵。
刘备居于吕布之下，竟有两年之久。到了建安三年九月，两个人才又翻脸，并且是吕布主动。吕布看见刘备在小沛力量慢慢恢复，又有了一万多兵，便决定先发制人，一举把刘备击溃，连小沛也不让他立足。