La parcelle de Ditchley a été brevetée en 1651 par Richard Lee, descendant de la famille Lee de Virginie. L'actuelle maison de maître, commencée vers 1762 de Kendall Lee, un arrière-petit-fils de Richard Lee, présente une architecture coloniale géorgienne classique. La maison présente une belle maçonnerie, un toit en croupe et des proportions géométriques caractéristiques des plus belles maisons de plantation de Virginie. L'intérieur conserve de nombreuses boiseries d'origine, dont un remarquable escalier géorgien. En 1792, la famille Lee a vendu Ditchley à James Ball, parent de Mary Ball Washington, mère de George Washington. La propriété est restée dans la famille Ball pendant tout le 19e siècle. En 1932, Ditchley a été acheté par M. et Mme Alfred I. du Pont de Wilmington, Delhi. Mme du Pont, l'ancienne Jessie Dew Ball (1884-1970), était apparentée aux Balls de Ditchley. Après la mort de son mari, Mme du Pont est devenue l'une des plus généreuses philanthropes américaines, accordant personnellement des subventions à plusieurs centaines d'institutions.