In 1567 liet Agnes van Leeuwenbergh haar gehele vermogen na aan de armen. De stad bouwde daarvan bij de oostelijke stadsmuur een pesthuis. Het bestond een tweebeukige grote ruimte van 500 m2 en enkele nevenverblijven. Bij gebrek aan pestlijders echter was het gebouw meesttijds in gebruik als gasthuis. In de aanvang van de negentiende eeuw werd het Leeuwenberghgasthuis een kazerne en vanaf 1844 ging de universiteit de lokaliteiten gebruiken. Eerst werd het een scheikundig laboratorium, later bood het huisvesting aan de aankomende apothekers. Vanaf 1930 werd het gasthuis een kerkgebouw voor groeperingen van de Nederlands Hervormde kerk. Er kwamen glas-in-loodramen en in 1954 een orgel, dat laatste onder supervisie van de beroemde Nobelprijswinnaar Albert Schweitzer. Toen in 2004 de kerkelijke gemeente niet meer in staat was het gebouw te onderhouden, ging het eigendom over op de Stichting Vrienden van het Leeuwenbergh Gasthuis. Deze stichting exploiteert thans het gebouw.
De Leeuwenbergh kerk is voor het project Kerken Kijken gesloten.De komende vier jaar (vanaf begin 2008) is Muziekcentrum Vredenburg de huurder van Leeuwenbergh. Voor de programmering en eventueel gebruik van Leeuwenbergh kunt u contact opnemen met Muziekcentrum Vredenburg.