Sefydlodd William Fitzosbern y castell er mwyn i Gwilym Goncwerwr gael rheoli ceg Afon Gwy, a oedd yn fan croesi allweddol o Loegr i Gymru. Castell Cas-gwent oedd un o'r cestyll carreg cyntaf, a chafodd ei ehangu'n gyson hyd y Rhyfel Cartref. Roedd Richards yn un o sefydlwyr yr Academi Frenhinol, lle dangosodd ddarlun ar y pwnc hwn ym 1776. Roedd hefyd yn beintiwr golygfeydd, fel y dangosir gan y cyfansoddiad theatraidd hwn.