Rørbæk kirke er som så mange andre kirker på egnen formentlig bygget i det 12. århundrede.
Den er bygget i romansk stil af fint tilhuggede granitkvadre. Der har på kirken været både kirketårn og tilbygget våbenhus mod syd - men engang i 1800-tallet blev tårnet og våbenhuset nedrevet, formentlig fordi det var i dårlig stand. Tårnrummet i kirkens vestende blev dog bevaret og fungerer nu som kirkens våbenhus med indgangsdør i sydsiden. I 1892 blev der bygget et træspir oven på tårnrummet som en slags erstatning for det tidligere kirketårn.
I 1998 blev kirken gennemgribende restaureret indvendig og fremstår nu med en harmoni mellem den gamle altertavle og prædikestol fra 1600-tallet og nye, varme farver i kirkerummet.