Zbytek století byl ve znamení několikerého střídání držitelů hradu. V roce 1489 zde vládl Jiří Berka z Dubé, v roce 1498 Vilém Zub z Landštejna, po něm Jan Dubecký z Dubče a po roce 1508 Jan Chvalovský z Ledec. Jeho dědici v roce 1540 prodali panství Janu z Vartemberka. Kromě městečka Hodkovic k němu patřily vsi Zásada, Vranový, Křížky, Rakousy, Borek, Ondříkovice, Roudný Kaškovice, Voděrady, Pulečný, Kamenice, Radimovice, Dolánky u Hodkovic, Záskalí, Jeřmanice, Vesec, Vratislavice, zaniklá ves Nisa, a díly Čtveřína a Havlovic. Význam této koupě spočívá pro Frýdštejn v tom, že se stal částí velkého vartemberkého dominia (Zvířetice, Hrubý Rohozec, Malá Skála, Hradiště n.Jiz. a Dub), na němž se již prosazovaly významné trendy hospodářského využití přírodních a lidských zdrojů panství. Tato sounáležitost však trvala jen několik let, protože Janův syn, Adam z Vartemberka, byl za svou účast na protihabsburském odboji v letech 1546/1547 potrestán králem Ferdinandem I. konfiskací části statků, mezi nimi Dubu a Frýdštejna. Proto mohl v roce 1552 koupit obě panství Jan z Oppersdorfu .
To, že si za sídlo zvolil výstavný zámek v(Českém) Dubě, se stalo pro hrad Frýdštejn osudným. Ztratil již dávno svůj vojenský význam a neměl ani terénní a prostorové předpoklady pro další stavební vývoj v duchu zámeckých staveb, jak tomu bylo u mnoha jiných dřívějších hradů (např. Dub, Frýdlant, Crrabštejn, Rohozec aj.). Byl tedy ponechán svému osudu takže byl již zanedlouho označován jako pustý. Jeho hospodářské zázemí, poplužní dvůr v podhradí , při němž bylo i něco ovocných stromů, byl již za Vartemberků rozdělen mezi čtyři sedláky. Na osudu
hradu se nepodepsal jen pověstný „zub času", ale také skutečnost, že v podhradí přibývalo lidí, kteří pro své nově budované příbytky vzali rádi zavděk i vhodným stavebním materiálem z objektů chátrajícího hradu.
Po pánech z Oppersdorfu stal se v roce 1591 majitelem „pustého zámku" Zikmund Smiřický ze Smiřic ( do r.1608) , pak jeho synové Jaroslav (do r 1610) a nakonec Jan Albrecht (zemřel v roce 1619). Na hospodářsky velmi iniciativní a úspěšné pány ze Smiřic navázal v roce 1623 Albrecht z Valdštejna. Ten jejich statky získal z konfiskací, jimiž byli Smiřičti potrestáni za svou účast na druhém protihabsburském odboji v letech 1618 - 1620,. který skončil porážkou na Bílé hoře. Za Valdštejna byla celá oblast severních těch součástí jeho vévodství Frýdlantského až do roku 1634, kdy byl zavražděn v Chebu. Opětovné konfiskace, tentokráte uprostřed již probíhající třicetileté války, učinily majitelem dubského a frýdštejnského panství císařského plukovníka hraběte Jana Ludvíka Isolaniho. Jeho dvě dcery se sice ujaly dědictví, když v roce 1640 zemřel, ale jedna z nich, hraběnka Regina Isolaniová odkázala své jmění v r. 1653 klášteru sv.Augustina ve Vídni. V církevním držení pak setrvalo frýdštejnské i dubské panství do roku 1838 , kdy je koupil kníže Kamil Rohan. Revoluční události roku 1848 pak udělaly navždy tečku za feudálními patrimoniálními řády u nás.
Ve stínu půvabné hradní zříceniny však během staletí vyrůstala ves, která dostal jméno po hradu a jeho hospodářském příslušenství, tedy pak již zmíněném poplužním dvoře. Její počátky byly více než skromné. Původní čtyři usedlosti selské se přirozeným přírůstkem v rodinách dělily a ves se rozrůstala o nová stavení. Nešlo to hned rychle, protože třicetiletá válka (1618-1648) a následující rekatolizační opatření habsburské vlády, zanechaly asi i zde své stopy. V soupise obyvatel dle víry z roku 1651 je ve výčtu služebných lidí na dubském zámku uveden „Mikuláš Fridštejnský, při kanceláři písařík". Byl to asi synek některého zdejšího sedláka , bylo mu 15 let a je u něho poznamenáno, že je zde naděje na obrácení ke katolické víře. Ves Frýdštejn v tomto seznamu uvedena není, ale zato všechny okolní vsi Stejně je tomu v soupise poddanských hospodářství z roku 1654, jenž je znám pod jménem Berni rula.
Chceme-li sáhnout po publikovaných topografických příručkách, pak získáváme o obci Frýdštejn postupně řadu důležitých a zajímavých údajů Tak zaznamenává Jaroslav Schaller ve své Topagraphie des Knigreichs Biihmen (IV . Prag 1790) na str. 236, že Frýdštejn má 33 čísel (tj očíslovaných domů) s jedmom zpustlým hradním zámkem, který v r. 1432 obléhali sirotci ( tj. husité). Nachází se zde ještě ve skále tesaná kaple P. Marie a na kameni nápis „ 1456 opuštěna". Následující topografické dílo J.G. Sommera „Das Ktinigreich Bóhmen (II. Prag 1834) o Frýdštejně uvádí 45 domů a 344 obyvatel. V roce 1845 to bylo již 57 domů s 379 obyvateli a tak to pokračovalo i nadále, takže v roce 1890 zde žilo již 448 obyvatel v 73 domech. To sem našlo cestu i broušení kamenů a českých granátů (Gttův slovník naučný IX., str. 703, 1895) . 4 této výrobě se zmiňuje i Pfohlův lexikon z r. 1927, když zde uvádí 2 velké a dvě malé brusírny skla, pilu a těžbu písku, ovšem ve spojení s obcemi Kaškovice, Roudný a Voděrady, které měly dohromady 1040 obyvatel. Sdružování okolních obcí kolem obce Frýdštejn pokračovalo a trvá do dneška.
Starobylý hrad Frýdštejn ve své dnešní malebné podobě může v roce 2005 oslavit 620. výročí první své zmínky v písemných pramenech. Stejné památné výročí přísluší i jeho někdejšímu podhradí a hospodářskému zázemí, dnešní obci na jeho úpatí, v jejímž jméně přežívá dodnes ohlas pohnutých dějin stejnojmenného hradu.