杜牧字牧之，唐京兆府万年县（陕西西安市）人。万年与长安两县是唐代京兆府的首县，也就是京都所在。
京兆杜氏是魏、晋以来数百年的高门世族，在唐代尤其煊赫。唐朝人说：“城南韦杜，去天尺五。”他们一直是统治阶级的最上层。论到京兆杜氏这一家的世系，应当追溯到西汉御史大夫杜周。杜周本居南阳（河南南阳市），以豪族迁徙于茂陵（陕西兴平县东北），子延年，又迁于杜陵（西安市南）。他的子孙，在汉、魏、晋诸朝，世代为官，如东汉的杜笃、西晋的杜预。杜笃工为文章，曾作《论都赋》；而杜预在历史上尤其有名，他做官到镇南大将军、荆州刺史，封当阳侯。他不但通晓战术，建立事功，而且博学多能，精于刑律、历法、水利，能造河桥，又注《左传》，当时人称他为“杜武库”，言其胸中无所不有。杜牧就是杜预的十六代孙。论起这一点来，他与杜甫同是杜预的后裔，不过支派相去很远了。杜甫是杜预的儿子杜耽之后，而杜牧这一支则出于杜预的少子杜尹。杜尹当西晋时为弘农太守。他的六世孙杜颙，在西魏、北周时，做雍州刺史，封安平公，死后葬在少陵。少陵是汉宣帝许皇后的坟墓，在宣帝杜陵的东南，比杜陵小，故名少陵，附近一带地区也叫作少陵。杜颙的子孙后来都埋葬在这里。杜颙的六世孙杜希望，唐玄宗时，做官到鸿胪卿、恒州刺史、西河郡太守。杜希望有八个儿子，而第六子杜佑最知名，做官到宰相，就是杜牧的祖父。他有三个儿子：杜师损、杜式方、杜从郁。杜从郁官至驾部员外郎，就是杜牧的父亲。
杜牧生平善于论兵，似乎颇有他十六世祖杜预的遗风，但是杜牧诗文中不大提到杜预，不像杜甫对于他十三世祖杜预那样地景仰深至，时常流露于作品中，而杜牧受他祖父杜佑的影响则相当大。
杜佑（735—812年）字君卿。他父亲杜希望做官时，曾因为不肯交欢宦官牛仙童而被贬黜；生平爱好文学，奖拔人才，所奖拔者如崔颢等，后来都很出名。杜佑以父荫补官，曾为容管经略使、水陆转运使、岭南淮南诸镇节度使，又曾以户部侍郎判度支，德宗末年，为宰相，历顺宗、宪宗两朝，相继在相位，拜司徒，封岐国公；宪宗元和七年六月，以太保致仕，十一月卒，年七十八，册赠太傅，谥曰安简。他做户部侍郎判度支时，国家财政很窘，他建议节用省官，朝廷没有采纳。他做淮南节度使时，决雷陂以推广灌溉，开垦海滨荒地，变为良田，积蓄米五十万斛。杜佑不但有政治才能，并且很好学，博通古今。唐玄宗时，刘秩仿《周官》的方法，搜采百家，分门诠次，作《政典》三十五卷。杜佑将这部书细加研究，认为条目未尽，于是补充它的缺漏，参以《开元新礼》，并博采《五经》、群史以及汉魏六朝人文集奏疏，撰成《通典》二百卷，共分八门：《食货》《选举》《职官》《礼》《乐》《兵刑》《州郡》《边防》；上溯唐、虞，下至唐之天宝，而肃宗、代宗以后的变革，亦间或附载注中。杜佑自代宗大历初年（约766年）开始纂修《通典》，到德宗贞元十七年（801年），他在淮南节度使任上，才将这部书献于朝廷，一共用了三十多年的时间。所以杜佑《上通典表》中说：“自顷缵修，年逾三纪。”可见其功力之深。《通典》这部书，搜采详实，组织完密，考辨精审，其中也颇有可取的见解。宋末元初时，马端临仿《通典》的体裁，离析门类，补充资料，论述到南宋末年，作《文献通考》三百四十八卷。这两部书都是中国典章制度史的名著，为后世治史者所必读的。
杜佑有三个儿子、十个孙子，其中如杜悰，后来也做到宰相；至于能够将杜佑的经世致用之学承继而发扬的，则只有杜牧。杜牧在《冬至日寄小侄阿宜诗》中说到他们自己的家：“旧第开朱门，长安城中央。第中无一物，万卷书满堂。家集二百编，上下驰皇王。”他夸耀家中的万卷书，而特别提出“家集二百编，上下驰皇王”，就是指的他祖父杜佑撰著的《通典》二百卷，可见他是很珍视这种家学的。杜牧生平留心当世之务，论政谈兵，卓有见地，他在《上李中丞书》中说自己“世业儒学，自高、曾至于某身，家风不坠”，又说自己对于“治乱兴亡之迹，财赋兵甲之事，地形之险易远近，古人之长短得失”，颇有研究，这正是他祖父杜佑作《通典》考明历代典章制度以施诸实用的家学传统。当然，杜牧有时候也不免要夸耀“我家公相家，剑佩尝丁当”，而且勉励他侄子阿宜“仕宦至公相”（《冬至日寄小侄阿宜诗》）。这是他思想中庸俗的地方。同时，杜牧生活豪纵，喜好声色，这也是高门世族贵公子不良的习气。
杜牧生于唐德宗贞元十九年癸未（803年），月日无考。这一年，他的祖父杜佑六十九岁，二月间，自淮南节度使来朝，三月，拜检校司空，同中书门下平章事，就是宰相，此后十年中，杜佑一直高居相位。
杜牧降生之时，离开安禄山起兵之岁（755年）已经四十八年了。在这四十八年间，变故迭出，使唐朝由所谓“太平盛世”而陷于内忧外患之中。安史之乱闹了八年，到代宗广德元年（763年），才算勉强平定。当时朝廷安于苟且，就以史朝义的降将张忠志（后赐姓李，名宝臣）、薛嵩、田承嗣、李怀仙等为河北诸镇的节度使。这些藩镇后来称霸一方，不服从唐朝中央政令，而河南藩镇，如淄青节度使李纳及彰义（淮西）节度使李希烈，亦起而效尤，形成军阀割据局面。朝廷虽然用兵讨伐，而力量已弱，常是不能得胜，中途妥协，更失威信。经常的内战自然增加了人民的痛苦。同时，自安禄山乱起，唐朝将陇右、河西、朔方诸镇的精兵都调去平乱，所留下的兵很单弱，西北空虚，吐蕃统治者乘机东进，于是凤翔（陕西凤翔）以西，邠州（治所在今陕西邠县）以北，陇右、河西之地，都渐渐被吐蕃占领。唐朝和吐蕃的关系自从太宗时文成公主嫁与吐蕃赞普松赞干布之后，两族人民和睦相处，经济文化互相交流。但是中唐以后，吐蕃统治者乘唐朝衰弱，不断东进。当时吐蕃还处在奴隶社会阶段，所以陇右、河西的人民遂沦于吐蕃奴隶主的奴役之下，其势力达于邠、陇（治所在今陕西陇县）诸州，距离长安不及五百里 。代宗广德元年十月，吐蕃兵一度进入长安，代宗逃到陕州（治所在今河南旧陕县）。郭子仪等率兵收复长安，吐蕃退去，十二月，代宗才回京都。此后，吐蕃统治者的军队还经常到达邠、泾（治所在今甘肃泾川）、陇等州，长安戒严。
当时唐朝的内政方面也产生了毒瘤，就是宦官专权。肃宗、代宗时，宦官李辅国、程元振已经恃君之宠而干预国政，代宗命宦官鱼朝恩为观军容宣慰处置使，总领禁兵，又开宦官干涉军权之端。德宗初年，泾原兵在长安作乱，拥立朱泚为帝，德宗逃出，宦官窦文场、霍仙鸣随从保护。乱平之后，德宗猜忌诸将，不愿意武臣掌握重兵，于是设置护军中尉两员，分领神策禁军，即命宦官窦文场、霍仙鸣担任。从此神策禁兵归宦官掌管，他们权势更大，不但操纵朝政，甚至于可以废立君主了。
至于社会经济方面，唐玄宗以来，大庄园制日益发展，均田制遂彻底破坏。杜佑《通典·食货》中说：“开元之季，天宝以来，法令弛坏，兼并之弊，有逾于汉成、哀之间。”农民多失去土地，而土地大量集中于地主的田庄之中。安史乱后，户口凋耗，科敛繁重，民多流亡，均田制既已破坏，与它相配合的租庸调制亦不能行，而临时规定的征收租税办法又相当紊乱，于是德宗建中元年（780年）颁行两税法，取消课户与不课户的区别，一律以产业的多少为收税标准，每年分夏秋两季征收，租、庸、杂徭，全都省去。两税法虽然是租税制度的整顿，但是施行之后，流弊仍多。初定两税法时，货重钱轻，以绫绢折钱输纳，成为定额，后来物价降低，农民仍照原额缴钱，负担遂加重。还有，两税法立法之初，本来规定：“此外敛者，以枉法论。”但是在两税法颁布后没多久，于建中三年，淮南节度使陈少游请于本道两税钱每贯增加二百，朝廷因命各道都照样加征；贞元八年（792年），又从韦皋之奏，加税十分之二。此外，安史乱后，朝廷新增加的苛捐杂税也很多，如盐税、茶税、借商钱、间架税、除陌钱等，都直接或间接增加劳动人民的负担。至于土地兼并以及地主剥削佃农的情况也很严重，据德宗时陆贽所说，当时“富者兼地数万亩，贫者无容足之居”，贫民“依托强豪，以为私属……终年服劳，无日休息”，而“有田之家，坐食租税……每田一亩，官税五升，而私家收租殆有亩至一石者……降及中等，租犹半之”。（以上引文均见《陆宣公集》奏议卷六《均节赋税恤百姓六条》）由于以上所述种种情况，所以自代宗以后，阶级矛盾日趋尖锐，小规模的农民起义不断发生，如代宗宝应元年（762年），袁晁起义于浙东（《旧唐书·代宗纪》）；穆宗长庆三年（823年），和州饥，乌江（安徽和县东北）百姓杀县令以取官米（《旧唐书·穆宗纪》）；武宗会昌二年（842年），岚州（治所在今山西岚县）田满川起义（《旧唐书·武宗纪》）；宣宗大中五六年间（851—852年），衡州（治所在今湖南衡阳市）邓裴起义（《资治通鉴·唐纪六十五》大中六年，《资治通鉴》以下简称《通鉴》）。所有这些，正为后来唐末农民大起义作准备。
总括以上所提到的，唐代自安史乱后五十年中，藩镇跋扈，宦官专权，政治浊乱，农民失业，土地集中，赋敛繁重，民生艰窘。杜牧正是在这样一个时期中降生下来，而在他降生以后数十年中，这些坏情况依然继续存在与发展，并且在政治上又出现了新的纠纷，如牛李党争。所以说，杜牧所生的时代正是中、晚唐多事之秋，也就是阶级矛盾日趋尖锐，而统治阶级内部矛盾又错综复杂的时代。杜牧是一个怀有忧国的热情，而又在政治上有见解有抱负的人，这些内忧边患经常刺激他，使他有可能对当时国计民生上许多重要问题提出比较好的意见，而在诗中也有忧时感事的情怀。
谈到文学方面，在杜牧降生时，盛唐伟大的诗人李白与杜甫已经死去三四十年了，而中唐的重要作家都还健在。这一年韩愈三十六岁，白居易、刘禹锡都是三十二岁，柳宗元三十一岁，元稹二十五岁，李贺十四岁。中唐文学承盛唐之后继续在发展，如韩愈提倡古文，柳宗元和之，而白居易、韩愈、李贺等在诗方面也都有新建树。杜牧生平很佩服韩、柳，曾将他二人与李、杜并举，所谓“李杜泛浩浩，韩柳摩苍苍。近者四君子，与古争强梁”（《冬至日寄小侄阿宜诗》）。又说：“杜诗韩集愁来读，似倩麻姑痒处抓。”（《读韩杜集》）但是杜牧与韩、柳二人似乎并未相识。顺宗永贞元年（805年）柳宗元贬官离京时，杜牧才三岁，而杜牧十七岁时，柳宗元死于柳州刺史任上，他们两人自然不会认识。韩愈晚年在京做官，他死时，杜牧二十二岁，不知杜牧是否见过韩愈，而在两家诗文集中都看不到他们二人有往还的痕迹。不过，杜牧的古文与长篇五言古诗无疑地都是受了韩愈的影响。李贺死得早，杜牧也没有赶上与他交往，而对他的诗却很赞赏。至于白居易、元稹、刘禹锡等，与杜牧也没有什么往还，白居易诗名甚盛，但是杜牧不但未受他的影响，而且有些不赞同的意见。关于这些，下面将要谈到。
杜牧幼年的生活情况，他自己的作品中提到的不很多，而其他文献中更少记载，所以这里只能做一个简单的描述。
杜牧降生以后十年之中，他的祖父杜佑这时自淮南节度使入朝为相，资望很高，历相三帝，居位十年，而杜牧的伯父与父亲也都做官，一时贵盛无比。杜家的第宅在长安安仁里，即是安仁坊，在朱雀门街东第一街，从北第三坊，正居长安城的中心，杜牧《冬至日寄小侄阿宜诗》所谓：“旧第开朱门，长安城中央。”即指此宅。又有家庙在延福坊，延福坊在朱雀门街西第三街，从北第九坊。杜家在长安城南三十多里下杜樊乡还有别墅，“亭馆林池，为城南之最”（《旧唐书》卷一百四十七《杜佑传》附子《杜式方传》），杜佑常邀宾客到此游赏，置酒为乐。樊乡是因汉高祖赐樊哙食邑于此而得名，这里有一条小河，名樊川，流入潏水。这一带地方风景幽美，杜牧幼时常来游玩，后来他在外郡做刺史时，还时常思念樊乡。当他晚年自湖州刺史调回京都做考功郎中知制诰的时候，他用湖州刺史任上所积蓄的俸钱修治樊乡别墅，并且说，将来老了为“樊上翁”，因此，为自己的诗文集取名《樊川集》，可见杜牧对于这个儿时旧游的故乡名胜之区是如何地终身眷念不忘了。
杜牧族兄弟行中，人数不少。杜牧为他堂兄杜诠所作的墓志铭中曾提到他祖父杜佑“贵富繁大，孙儿二十馀人，晨昏起居，同堂环侍”。但是根据《新唐书·宰相世系表》所记载的，杜牧的大伯父杜师损有三个儿子——杜诠、杜愉、杜羔；二伯父杜式方有五个儿子——杜恽、杜憓、杜悰、杜恂、杜慆，这些都是杜牧的堂兄弟，杜牧只有一个亲弟弟杜。三房子弟共只十人，与杜牧所谓“二十馀人”者相差甚远，也许所谓“孙儿二十馀人”中包括杜佑的侄孙在内。杜牧《樊川文集》中常提到堂兄杜慥，《新唐书·宰相世系表》中就没有，可能是杜牧同曾祖的堂兄。杜牧大排行是十三（李商隐赠杜牧的诗题即作《赠司勋杜十三员外》），大概是将同曾祖的族兄弟一起计算在内的 。杜牧的堂兄杜诠，善于经理家务，当杜佑在时，杜师损兄弟三房都住在一起，家事纷繁，都由杜诠经管。杜牧的亲弟弟杜，比杜牧小四岁，生于宪宗元和二年（807年）。
宪宗元和七年（812年），杜牧十岁。这年十一月十六日辛未，杜佑卒于长安安仁坊宅中，年七十八，次年夏四月初三，葬于长安城南少陵原祖墓。这时杜佑长子杜师损官司农少卿，次子杜式方官昭应县令，三子杜从郁官驾部员外郎。
自从杜佑死后，他三个儿子各房中的情况就发生变化。杜牧的父亲杜从郁少以父荫得官，德宗贞元末，再迁太子司议郎，宪宗元和初，转左补阙；谏官崔群、韦贯之、独孤郁等以为杜从郁是宰相之子，不宜于做谏官，乃转为左拾遗，崔群等仍然反对，认为拾遗与补阙虽然资品不同，而都是谏官，父为宰相，子为谏官，若朝政有得失，不可使子论父，于是乃改为秘书丞，后又迁驾部员外郎。杜佑死时，杜从郁正居此职。杜从郁何时死去，已无可考。《旧唐书·杜佑传》附记杜从郁，说他“少多疾病”，又说他“夭丧”，而记载他的官职是“终驾部员外郎”，大概杜从郁之死是在杜佑死后不久，约当杜牧十馀岁时。
杜牧为吏部员外郎时，在《上宰相求湖州第二启》中曾自述十馀岁时的生活情况：
某幼孤贫，安仁旧第置于开元末，某有屋三十间而已 。去元和末，酬偿息钱，为他人有，因此移去。八年中凡十徙其居，奴婢寒饿，衰老者死，少壮者当面逃去，不能呵制，止 有一竖，恋恋悯叹，挈百卷书随而养之，奔走困苦无所容，归死延福私庙，支柱欹坏而处之。长兄以驴游丐于亲旧，某与弟□食野蒿藿，寒无夜烛，默念 所记者，凡三周岁。
这一段话，我们初读时可能引起怀疑。杜牧是宰相之孙，何以会一贫至此？如果仔细寻思，却也可以理解。杜佑久居高位，虽然家财不少，但是他的三个儿子各房中经济情况不同。杜牧的父亲杜从郁是杜佑的小儿子，既未做过大官，而死得又早，遗产不多。杜牧文中说：“安仁旧第置于开元末，某有屋三十间而已。”大概在安仁坊杜氏第宅中，杜牧这一房只有三十间，也就是他父亲在祖宅中所承受的一部分。这三十间房，在元和末，大约是元和十三年至十五年中（元和十五年正月宪宗即死去），也正是杜从郁死后不久，当杜牧十六至十八岁时，因为还债而归于他人了。从此，杜牧、杜□兄弟二人，以十馀岁的幼年，自然不善于管理家务，于是居无定处，奴婢或死或逃，甚至于有时要“食野蒿藿，寒无夜烛”。杜牧文章中所描写的虽不免有些形容过甚之词，不过，这时他这一房经济情况远不如前，大概是真的。杜牧文中所谓“长兄以驴游丐于亲旧”，长兄不知指的是谁。据新旧《唐书·杜牧传》、《新唐书·宰相世系表》《元和姓纂》等书，杜牧并无亲哥哥，可能指的是某一位堂兄，但是他的两位伯父房中经济情况都并不坏，这位堂兄何以至于“以驴游丐于亲旧”，详细情况还无从知道。杜牧是宰相之孙，当然是席丰履厚，不过，当他十馀岁丧父之后，也曾过了一个时期不大宽裕的生活。
杜牧这一房，自杜佑死后，景况不好，但是他二伯父杜式方那一房又获得新的荣宠。杜式方丁父忧服阕，迁司农少卿，又迁太仆卿。宪宗元和九年（814年），杜式方少子杜悰又选配宪宗长女岐阳公主。杜悰生于德宗贞元十年（794年），比杜牧大九岁，少以荫为太子司议郎，选配公主时年二十一岁，加银青光禄大夫、殿中少监、驸马都尉。当时皇帝为公主选婿，多在贵戚或武臣家中择取，而宪宗赏识宰相权德舆的女婿独孤郁文学很好，也想为自己的长女岐阳公主选一位后进文学之士做配偶，告知宰相，要他们在卿士之家留意物色。唐代公主大都骄纵，出嫁后往往弄得婆家家庭不安，因此当时卿士家中的子弟都辞疾不应，唯独杜悰表示愿意，他大概觉得娶了公主是将来求高官厚禄的阶梯，于是宰相李吉甫就以杜悰应选。岐阳公主乃郭皇后所生，是宪宗的嫡女，所以杜悰结婚之后，荣耀非凡。皇帝赐第于昌化里，“堂有四庑，缋椽藻栌，丹白其壁，派龙首水为沼”；郭皇后是郭子仪的孙女，公主外家又将郭子仪大通里的池沼园亭奉献给公主作为别馆，当时“隆贵显荣，莫与为比”（引文均见《樊川文集》卷八《唐故岐阳公主墓志铭》）。鲍溶《夏日怀杜悰驸马》诗：“五月清凉萧史家，瑶池分水种菱花。回文地簟龙鳞浪，交锁天窗蝉翼纱。闲遣青琴飞小雪，自看碧玉破甘瓜。仍闻圣主知书癖，凤阁烧香对五车。”（同文书局缩印本《全唐诗》卷十八）可以想见杜悰娶公主后生活之豪侈华贵，与杜牧的“食野蒿藿，寒无夜烛”者比较起来，真是相去悬远了。杜悰选配公主之后，杜式方因为是皇家的亲戚，移病不视事。元和十五年（820年），宪宗卒。穆宗即位，杜式方为桂管观察使，长庆二年（822年），卒于任所。至于杜牧的大伯父杜师损，在杜佑死后情况如何，我们不清楚。《旧唐书·杜佑传》中仅说杜师损位终司农少卿，杜佑死时，杜师损已经是司农少卿了，大概以后他的官职也没有再升进，或者也许不久就死去了。