Willa w stylu eklektycznym z elementami neogotyku angielskiego została wzniesiona w 1874 roku na miejscu dawnego Młyna XI. Jej budowę zlecił Józef Napromski, ostatni właściciel młyna, który stworzył tu pierwszy w Oliwie pensjonat z prawdziwego zdarzenia. Budynek, z charakterystyczną trzykondygnacyjną wieżą przykrytą łamanym, wielospadowym dachem, na tle leśnych wzgórz Doliny Oliwskiej przypominał niewielki zamek. To właśnie dzięki temu malowniczemu położeniu zyskał nazwę „Zameczek Mormonów” (Mormonenschlösschen). Choć nazwa nie miała nic wspólnego z mormonami, to sprzyjała żartom i plotkom. Pensjonat dla dziewcząt z dobrych domów, który mieścił się w willi, stał się źródłem spekulacji o rzekomym wielożeństwie i tajemniczych spotkaniach, co dodatkowo budowało aurę legendy.