Bygningen ved Prinsens Port var ligesom vagtbygningerne ved Kongens Port og Kastellet oprindelig af bindingsværk. Den opførtes i grundmur i 1735 og står endnu, om end i ændret og reduceret skikkelse.
Før volden blev brudt igennem til Danmarks Port, strakte bygningen sig helt ud til hvor Danmarksgade nu svinger ind foran porten. Den indeholdt nemlig tidligere også de militære arrestceller. Udefra røbedes dette af de modsat vendte jernmarkiser, som var anbragt foran de små vinduer. Lys og luft kunne komme ind ovenfra, men hindrede alt udsyn. Den underofficer, der fungerede som den militære arrestforvarer, havde også et par lokaler der. Han sørgede også for de forskellige straffes effektuering.
Ved Danmarks Ports opførelse i 1924 måtte bygningen afkortes. Den blev endvidere ombygget, så den også fik front- og vagtlokale ud mod Danmarksgade, og her blev etableret vagt som bibeholdtes, til hele vagtordningen ophævedes i 1934.
Under de årlige 6. julidage sættes der vagt i de gamle uniformer fra Treårskrigens tid ved Prinsens Port, Danmarks Port og Landsoldaten. Bygningen ejes stadig af forsvarsministeriet og tjener i dag som møde- og selskabslokaler for officersforeningen. Den er fredet i klasse A.