Junto con Hastings, Sandwich, Dover y Romney, Hythe pertenecía a la confederación medieval Cinque Ports, los cinco puertos que formaban parte del sistema de defensa naval de Inglaterra. Los grafitis medievales de los pilares muestran barcos, símbolos protectores, un dragón, un demonio y un gato. Se cree que algunas de esas pintadas las hicieron peregrinos que se dirigían al santuario de Tomás Becket en la catedral de Canterbury para dar las gracias por haber regresado de Francia sanos y salvos. Desde el punto alto del camposanto, entre tumbas talladas con anclas, se puede ver la brumosa Côte d’Opale.