Le plus ancien bâtiment de Petersburg, l'église de Blandford, a été construite par Thomas Ravenscroft en 1734-37 en tant qu'église principale de la paroisse de Bristol. L'aile nord et le mur de briques entourant le cimetière d'origine ont été ajoutés entre 1752 et 1770 par le colonel Richard Bland, entrepreneur de pompes funèbres. L'église a été largement abandonnée après la construction d'une nouvelle église sur Courthouse Hill à l'adresse 1802. Il est tombé en ruines, mais ses beaux murs en briques à liant flamand sont restés relativement intacts. Autour des ruines s'est développé le cimetière de Blandford, un grand cimetière municipal. En 1901, le conseil municipal a autorisé la Petersburg Ladies' Memorial Association à restaurer le bâtiment pour en faire un monument aux morts confédérés. Dans le cadre de la restauration, l'association a demandé à Louis Comfort Tiffany de concevoir des vitraux pour chaque État de la Confédération. Cette collection de verres Tiffany, dont une fenêtre spéciale offerte par Tiffany, est l'un des trésors artistiques de la Virginie.