Navnet Staldgårdsgade kendes tilbage fra 1795.
I Staldgårdsgade nr. 2 ligger Sct. Mortens Hus fra 1896. Huset er som så mange andre prominente bygninger i Randers tegnet af arkitekt Jensen Wærum. Ejendommen har en meget karakteristisk gotisk facade, med røde sten, der er ornamenterede med glaserede sten i brunt, grønt og gult.
Bygningen, der skulle fungere som menighedshus, blev opført på initiativ af sognepræst P. Scharling og flere kendte Randers-borgere. Ved grundstensnedlæggelsen i 1895 blev Scharlings redegørelse for tilblivelsen af menighedshuset nedskrevet og lagt i en blykapsel, der fungerede som grundsten og muret ind i muren.
I starten af 1970’erne blev bygningen overdraget til Sct. Mortens Sogns Menighedsråd. Huset fik senere navnet Sct. Mortens Hus og danner i dag ramme om flere forskellige aktiviteter som foredrag, undervisning og sang.