Cofnodwyd y castell am y tro cyntaf ym 1204 ac mae'n tremio dros Afon Teifi ger Aberteifi. Cafodd ei ailgodi gan William Marshall II ar ôl cael ei gipio oddi wrth y Cymry ym 1223. Ymwelodd Havell ô Chymru o leiaf ddwywaith ym 1802 a 1803. Mae'r darlun rhamantaidd hwn o'r castell yn y machlud, yr un llun o bosib ag a welwyd yn yr Academi Frenhinol ym 1805, yn perthyn yn agos i lun dyfrlliw a ddangoswyd, mae'n debyg, yng Nghymdeithas y Peintwyr Dyfrlliw ym 1806.