La partie la plus ancienne de Chapel Hill est la section centrale en pierre de deux étages, de style fédéral, de la maison actuelle, qui a été construite pour le Dr Charles Carter Byrd en 1824, un an après que sa mère lui ait cédé le terrain de 168-acre. Philip Burwell, fils de Nathaniel Burwell de la ville voisine de Carter Hall, a acheté la propriété du comté de Clarke en 1826. Son propriétaire le plus distingué du 20e siècle fut le major général William "Wild Bill" Donovan, qui l'acheta en 1938, puis engagea l'architecte George L. Howe de Washington, D.C., pour remodeler et agrandir la maison dans le style néo-colonial. Howe a ajouté les ailes latérales en pierre d'un étage et demi. Plusieurs dépendances, dont une grange bancaire, une écurie et une maison de groom, ont également été construites à cette époque. Pendant la Seconde Guerre mondiale, Donovan a fondé et dirigé l'Office of Strategic Services, ancêtre de la Central Intelligence Agency. Après sa mort en 1959, la propriété est restée dans la famille Donovan jusqu'en 1999.  Chapel Hill est une propriété contribuant à l'arrondissement historique rural de Chapel.