杜甫遠祖為漢武帝時期有名的酷吏杜周，祖父杜審言。杜甫與唐代另一大詩人即“小李杜”的杜牧同為晉代大學者、名將杜預之后，不過兩支派甚遠。祖籍襄陽(今屬湖北)，曾祖父杜依藝為鞏縣令，遂居鞏縣(今屬河南)。杜甫出自杜預次子杜耽，而杜牧出自杜預少子杜尹。杜甫于唐睿宗太極元年正月初一(712年2月12日)生于鞏縣。母親崔氏，在杜甫年幼時就故去。崔家也是有名望的世家大族，他一生中曾多次和親疏不等的舅父、表弟相遇。

杜甫青少年時因家庭環境優越，因此過著較為安定富足的生活。他自小好學，七歲能作詩，“七齡思即壯，開口詠鳳凰”，有志于“致君堯舜上，再使風俗淳”。他少年時也很頑皮，“憶年十五心尚孩，健如黃犢走復來。庭前八月梨棗熟，一日上樹能千回”。

杜甫少年時期有機會受到各種文化藝術的熏陶，這對他日后的詩歌創作有很大的影響。例如他五六歲時在河南郾城看過舞蹈家公孫大娘的劍器渾脫舞;后在洛陽尚善坊的岐王李范宅里，遵化里玄宗寵臣崔滌堂前，聽過李龜年的歌聲;在洛陽北邙山頂玄元皇帝廟里欣賞過畫圣吳道子畫的五圣尊容、千官行列，這在他以后的詩歌創作中都有所反映。當時社會名流崔尚、魏啟心看到他習作的詞賦，夸獎他有班固、揚雄之風。還有李邕、王翰這樣的長輩也屈尊來訪問他。