Siedziba najbogatszego i wpływowego w Gdańsku rodu Ferberów, dał on miastu: 6 burmistrzów, 3 ławników, 6 rajców, 3 kanoników i 1 biskupa. Historia kamienicy zaczyna się w 1560 roku kiedy Constantin Ferber, syn Eberharda, postanawia wznieść kamienicę według najnowszych trendów architektonicznych manieryzmu, celem podkreślenia znaczenia i bogactwa rodziny. Zarówno Eberhard i Constantin byli burmistrzami Gdańska, ten pierwszy zwany również królem Gdańska. Constantin wsławił się nieustępliwością, sprawną dyplomacją i politycznym zwycięstwem w wojnie polsko-gdańskiej w 1577 roku. Kamienica służyła właścicielom do roku 1786 - do dnia śmierci ostatniego przedstawiciela rodu.
Kamienica nie od zawsze nosiła nazwę "Dom Ferberów". Wcześniej nazywano ją "Adam i Ewa", źródłem była scenka umieszczona na drzwiach ukazująca wypędzenie pierwszych rodziców, Adama i Ewy z raju. Legenda głosi że drzwi miały diabelską moc. Eberhard Ferber po śmierci swojej ukochanej żony żył w samotności. Pragnął przywołać żonę z zaświatów. Skontaktował się z weneckim mistrzem magii, który obiecał spełnić jego życzenie. Dwa organizowane seanse nie powiodły się. Przyczyną, jak stwierdził czarownik, była obecność osób trzecich. Podczas trzeciej wizyty weneckiego maga w domu miał być tylko rajca, sługa jednak nie chciał dopuścić do wywołania swojej zmarłej pani i ukrył się w kominku. Mistrz magii przystąpił do dzieła. Kiedy nastąpił wreszcie kontakt z zaświatami zniknął nagle sługa schowany w kominku i pojawili się pierwsi rodzice - Adam i Ewa, potem ojciec gospodarza i na końcu postać zmarłej żony. Rajca Ferber rzucił się na kolana przed postacią zmarłej prosząc o przebaczenie za zakłócenie jej wiecznego spoczynku. W tym momencie jakaś nie wyjaśniona siła poraziła rajcę, a mistrz magii wraz z wywołanymi postaciami zniknął na zawsze. Stąd na drzwiach scena ze scenką ukazującą Adama i Ewę oraz pierwszy grzech. Po śmierci rajcy kamienica stała niezamieszkała. Krążyła legenda, iż kamienicę nawiedzają duchy. Od tego czasu przyjął się zwyczaj, że przestępców prowadzonych na stracenie zatrzymywano przed drzwiami kamienicy, a nad ich głowami łamano drewniane laski. Około połowy XIX wieku znaleźli się odważni, którzy postanowili przebudować parter kamienicy i otworzyć tam cukiernię. Drzwi usunięto. Ciążąca na kamienicy klątwa zniknęła.
Kolejną opowieścią jest historia o chłopcu, dziedzicu ferberowskiej fortuny i potęgi, który z okna kamienicy, trzymany przez opiekunkę, oglądał barwny orszak jednego z królów wjeżdżających do gdańska i towarzyszące temu powitanie gdańszczan. Nieuważna opiekunka zapatrzyła się, na jakiegoś szczególnie urodziwego młodzieńca z królewskiego orszaku i rozluźniła uścisk ramion, którymi asekurowała stojące na parapecie dziecko. Nieszczęście tylko czekało na taką okazję. Chłopiec zachwiał się i runął z trzeciego piętra w dół prosto na przedproże. Uratować miał go kosz pełen kapusty ustawiony przez służącą na przedprożu, w którym bezpiecznie wylądował. Zestawienie tej legendy z figurką spadającego dziecka na samej górze epitafium Constantina Ferbera w Kościele Mariackim, pozwala rozpoznać w nim bohatera legendy.