西点军校毕业的巴顿将军
曾祖父是家族第一个叫乔治·史密斯·巴顿(1833年6月26日—1864年9月25日)的人,出生于弗吉尼亚州的菲德堡(Fredericksburg)。1852年以全班24人中的第二名毕业于维吉尼亚军校,同时也是卡巴奥发兄弟会(Kappa Alpha Order)的成员。毕业后继续修读法律,并在查尔斯顿执业。南北战争期间,担任联盟国军维吉尼亚第22步兵团连长,后晋升为第22骑兵团团长、上校,参加厄尔利将军对联邦首府华盛顿进行的偷袭战。1864年9月在Opequon战役(第三次温切斯特之战)中阵亡。叔祖父瓦乐·巴顿(WallerT.Patton)在盖兹堡之役皮克特冲锋(Pickett's Charge)中伤重不治。联盟国将军休尔·温杜·摩塞(Hugh Weedon Mercer,休尔·摩塞孙子)也是巴顿的亲戚之一。
南北战争结束后,曾祖母苏珊·铎登·格雷瑟(Susan Thornton Glasssell)带领第二位乔治·史密斯·巴顿等3个孩子(另两个孩子为一男一女)来到洛杉矶,1871年改嫁给曾祖父的表兄弟,时任加利福尼亚州参议员的乔治·休尔·史密斯(George Hugh Smith,1834年2月2日─1915年2月7日)。父亲原名乔治·威廉·巴顿(George William Patton),生于1856年,为了纪念其继父而于1868年改名为乔治·史密斯·巴顿。姨母安妮·威尔逊(Anne Wilson),对巴顿疼爱有加,曾在他就读西点军校期间与他作伴陪读。