Późnogotycki budynek powstał w połowie XV wieku jako siedziba zakonu karmelitów. Po zburzeniu Młodego Miasta tu własnie karmelici zbudowali swoją siedzibę. Rozbudowa trwała aż do XVII wieku, kiedy to Jan III Sobieski wspomógł zakon znaczną dotacją.