Viby Kirke ligger markant på en bakke og er i øjenfaldende, fordi den mangler et tårn.
Kirken er ret usædvanlig pga. sit særprægede bindingsværkstårn fra 1700-tallet. Tilbygningen med kuppeltag har siden 1800-tallet været gravkapel for familien Juel på det nærliggende Hverringe Gods.