Considérée comme la maison la plus impressionnante de la ville de Martinsville, Scuffle Hill a été construite en 1905-06 pour Benjamin F. Stevens, un ancien cadre de la société de tabac Liggett & Myers. Stevens partageait la maison avec son gendre et sa fille, M. et Mme Pannill F. Rucker. Rucker était lui-même un fabricant de tabac local aisé. Le manoir de vingt pièces, appelé à l'origine Oak Hill, a brûlé à l'adresse 1917. Les murs qui ont survécu ont été incorporés par les Rucker dans la maison actuelle, une œuvre grandiose de style néo-géorgien avec des aménagements intérieurs raffinés. Parmi les occupants ultérieurs, on trouve le fabricant de meubles Rives S. Brown et le magnat du textile Walter L. Pannill, qui a rebaptisé l'endroit Scuffle Hill. Depuis 1959, la maison est la maison paroissiale de l'église épiscopale du Christ. Bien qu'aucun nom d'architecte n'ait été associé à Scuffle Hill, la maison reste un imposant symbole local de réussite.  Il contribue également au quartier historique de East Church Street-Starling Avenue.