V té době již Janu Josefovi Antonínovi Larisch-Mönnichovi náleželo panství v sousední Karviné. Hrabě měl tehdy pouhých 26 let, jeho majetek však čítal 6 mlýnů, 11 dvorů, 4 ovčírny, kamenouhelný důl, pivovar, několik hospodářských budov a nyní nově také panství Fryštát. Mimo rozsáhlého majetku mu nechyběly také ambice a politický přehled. Zastával vysoké zemské i dvorské úřady a úspěšně choval šlechtěné ovce merino.

Mladý hrabě zahájil přestavbu zámku hned v roce jeho koupě a již o osm let později se Fryštát mohl opět pyšnit reprezentativní stavbou, tentokrát již v - nám dobře známém - empírovém stylu. „Jednopatrová hlavní budova byla zvýšena o atikové patro a zakryta několika sedlovými střechami. K ní byla přistavěna dvě boční křídla, z nichž vybíhaly z patra do vedlejších objektů spojovací chodby. Ze západního křídla zámku ústila z patra krytá spojovací chodba do oratoře farního kostela, patro východního křídla bylo propojeno prosklenou krytou chodbou do nově postaveného zámeckého objektu zvaného Lottyhaus. Před hlavní budovou byl založen okrasný park,“ popisuje historička Alexandra Rebrová v knize Zámek Fryštát. 

V roce 1820 panství zdědil Janův syn, hrabě Jindřich Larisch-Mönnich, radost z krásného sídla mu ale již 5. dubna 1823 zkalil další požár. Hrabě Jindřich neprodleně zahájil opravy a rychle vrátil zámku jeho půvab, stejně jako jeho otec se věnoval také rozvoji přilehlého parku a pokračoval i v úspěšném chovu ovcí merino.

Jindřichův syn Jan nechal interiéry zámku přebudovat do podoby tehdy velice módních historizujících slohů a v patře místo někdejšího slavnostního sálu vznikla velká schodišťová hala, od roku 1873 však obýval s rodinou novorenesanční zámek Solca a tak v roce 1877 zámek propůjčil synovci Jiřímu a jeho nechvalně proslulé choti Marii z Wallersee.

Janovým nástupcem byl jeho syn Jindřich, schopný průmyslník i politik, který opět našel vřelý vztah k zámku Fryštát, na kterém se oženil a narodily se zde také jeho děti. Nejstarší z nich, syn Jan, ale opět dal, stejně jako jeho děd, přednost zámku Solca.

Ve dvacátých letech byl pak zámek pronajímán úředníkům, lékařům a vojákům. K zásadní změně došlo v roce 1945, kdy byl zámek zkonfiskován.