Adeiladwyd y gorthwr carreg gan y Normaniaid yn y 12fed ganrif gan ailddefnyddio safle'r gaer Rufeinig.