Shirley a été breveté en 1660 par Edward Hill, ancêtre des propriétaires actuels. Le complexe formel du comté de Charles City illustre bien l'aspect villageois d'une grande plantation coloniale, mais avec une attention particulière accordée à l'emplacement et au traitement architectural des structures subordonnées. Le manoir, les dépendances de l'avant-cour, les granges et les deux maisons à chambres de trois étages disparues ont été construits vers le milieu du XIXe siècle. 1738 suite au mariage d'Elizabeth Hill, héritière de Shirley, avec John Carter, fils de Robert ("King") Carter. Le manoir a été remodelé dans les années 1770par Charles Carter, qui a installé les riches boiseries intérieures et ajouté les portiques. Les portiques ont été modifiés sur le site 1831. Le majestueux complexe de Shirley, avec son accumulation de meubles et de portraits de famille, présente l'une des images les plus mémorables de la continuité de la société de plantation de Virginie. Anne Hill Carter, épouse de "Light-Horse Harry" Lee et mère de Robert E. Lee, est née à Shirley en 1773.