W roku 1667 król Jan Kazimierz wigierską wyspę, jezioro oraz rozległe połacie puszczy nadał zakonowi kamedułów. Nazwa zakonu wywodzi się od włoskiej miejscowości Campo di Maldoli, w której zakon powstał. Kameduli przybyli nad Wigry w roku 1668. Początkowo zapewne wykorzystywali do swoich celów istniejący dwór myśliwski (zbudowany najprawdopodobniej przez Jagiełło) . Potem wznieśli drewniany kościół, który jednak wkrótce spłonął. Obecny wspaniały zespół architektoniczny zaczęto budować w roku 1694 a zakończono prawdopodobnie dopiero w roku 1745. Najpierw znacznie podwyższono wzgórze na wyspie łącząc ją groblą ze stałym lądem.
Potem wzniesiono kościół i wieżę zegarową, a następnie na dwóch tarasach kilkanaście murowanych domków zwanych eremami, w których zamieszkali zakonnicy. W następnej kolejności wzniesiono dom kanclerski i dom królewski. Zakon kamedulski był tzw. zakonem kontemplacyjnym o surowej regule zakonnej.