In 1886, ongeveer een halve eeuw nadat de Sint Martinus in gebruik was genomen, werd begonnen met de bouw van de tweede katholieke kerk in de stad Groningen. Voor de ligging was gekozen voor de zuidoostkant van de stad, waar een wijk, de Oosterpoort geheten, in aanbouw was. Deze was vooral voor arbeiders bedoeld en vandaar dat de kerk naar St. Jozef, timmerman en patroon van de werklieden, genoemd werd.
De architect, P.J.H. Cuypers, maakte er een sierlijk neo-gotisch bouwwerk van met een hoge, slanke toren. Het interieur was bij de wijding op 25 mei 1887 vrij sober, met wit gepleisterde muren en met slechts enkele decoraties, maar in de loop van de tijd kreeg ze een rijkere aankleding, - dank zij schenkingen van welgestelde parochianen, met name van het echtpaar Rikkers-Lubbers. Zo kwamen er luidklokken in de toren en werden de vensterramen vervangen door glas-in-lood.
Ook in latere tijd kwamen er verfraaiingen en werd de kerk goed onderhouden. Dat zal er toe hebben bijgedragen, dat de St. Jozef in 1974 op de lijst van Rijksmonumenten werd geplaatst en dat ze in 1980, toen de St. Martinus werd afgestoten, de functie van kathedraal - bisschopskerk - overnam. Als zodanig is ze anno 2005 volop in gebruik.