杜牧还能见到各种能人异士。有个叫王易简的人，70岁了，他精于演数，懂得机械原理，他经常到杜牧家来，跟他讲论“精大演数与杂技巧”。王易简指着某地说，这里地下有泉水，人们在他指的地方打井，嗬，神了，还真有泉水汩汩冒出来。这让小杜牧大开眼界。
杜牧10岁时，78岁的杜佑死了，不久，父亲杜从郁也死了。杜佑和杜从郁都葬在少陵。
杜从郁当时官居六品，元和年间他的月工资是40贯（《唐会要》），虽不算低，但要养活妻子儿女、小妾、奴婢，一家二三十口，日子略紧了些。
杜从郁死后，由于没有留下什么遗产，杜牧一家很快陷入了贫困。他家在长安的30间房子，陆续典当出去，八年间十次搬迁，奴仆当面逃去，只剩一个小书童，带着100多卷书跟着他们。杜牧落到了挖野菜吃的地步。冬天晚上没有蜡烛，就把白天读的书，在夜间默念背记。
杜牧12岁的时候，他的二伯父家的儿子，也就是杜牧的表哥杜悰，娶了唐玄宗的长女岐阳公主，做了驸马，后来还当上了宰相，成为杜家第十一个宰相。
青少年时期的杜牧出身高门大户，家学深厚，使他站在很高的起点上，树立冲天的大志，浑身洋溢着崇高的责任感和自豪感，他的志向，就是像他爷爷一样当上宰相。他从各个方面要求自己。到20岁时，他读《尚书》《毛诗》《左传》《国语》及唐以前的十三代史诸书，用心探究历朝历代兴盛和衰亡的道理，财政、赋税、军事的状况，山川地形的险易，分析古人施政的长处和缺点，所得和所失，留心“治乱兴亡之还，财赋兵甲之事，地形之险易远近，古人之长短得失”。