Lidt syd for hvor Restaurant Teglværksskoven lå, blev der i 1890 opført en pavillon kaldet Frederikslyst til den daværende Kronprins Frederik, senere Frederik den 8., der gjorde tjeneste ved garnisonen i Nyborg.
I dag er det kun betonfundamentet, der er bevaret. Højen, hvorpå pavillonen var opført, er oprindeligt en oldtidshøj. I folkemunde kaldes højen i dag for Frederikshøj.