První dochovaný záznam o Nasavrkách je z r.1318 a jako první majitel je uváděn Kunrát de Nassawyrch. Roku 1355 obdržel Nasavrky od krále Karla IV. olomoucký biskup Jan Očko z Vlašimi, který se r. 1360 zasloužil o prohlášení Nasavrk za městečko. Posledním českým majitelem byl Albrecht Kekule ze Stradonic. Od poloviny 17. století se o rozkvět nasavrckého panství staral rod Schönfeldů, od r. 1746 rod Auerspergů. V r. 1945 přešel majetek do vlastnictví státu.                                      

 Na místě dnešního zámku stávala tvrz, která byla vybudována v 10.-11. století jako strážiště pro celníky, jenž měli za úkol udržovat bezpečnost na zemských stezkách. Kolem r.1600 byla tvrz přestavěna na renesanční zámek, zdobený sgrafity. Budova se dvěma věžičkami prošla v 90. letech 20. století rozsáhlou rekonstrukcí. Prostory zámku jsou užívány ke kulturním účelům. V přízemí je obřadní síň se sochou od akad. sochaře Olbrama Zoubka. Je zde také informační centrum a cestovní kancelář. V I. poschodí se nachází stálá expozice „Po stopách Keltů“, kterou zde v r.2005 otevřelo místní občanské sdružení Boii. II. poschodí zámku je využíváno pro výstavy a koncerty. Zde se uskutečňují v letních měsících každoroční výstavy výtvarných děl „Nasavrcká paleta“, která bude v r.2008 již 38. v pořadí. Současně zde probíhá také tradiční „Nasavrcké hudební léto“. Výstavy a koncerty lákají návštěvníky téměř po celý rok.                                                                    

Z oken zámku se otevírá panorama Krkonoš, Orlických hor a Jeseníků, pohled na Kunětickou horu, Pardubice a Chrudim. Pod zámeckou zahradou lze spatřit sad jedlých kaštanů, které zde byly vysázeny v letech 1776-80, kdy nasavrcké panství vlastnil rod Auerspergů (dnes přírodní rezervace Kaštanka). Naproti zámku stojí římsko-katolický kostel sv.Jiljí. Původně byl postaven v gotickém slohu, po požáru v r.1740 byl barokně přestavěn. Další požár v r.1820 přinesl nové stavební úpravy, dnešní podoba je již z konce 19. století. V letech 1999-2001 byla za kostelem postavena nová fara.                            

V budově vedle kostela, kde dříve byla úřednická budova zdejšího panství a kde později sídlil okresní soud a berní úřad, najdeme dnes městský úřad. V budově je také hostinec a ubytovna.                        

V blízkosti těchto objektů je budova staré školy (dnes sídlo tradiční výroby nasavrckých čepic), nová budova Správy chráněné krajinné oblasti Železné hory a budova školy z počátku 20. století, která již také slouží jinému účelu – je sídlem České spořitelny a městské knihovny, v I. poschodí je turistická ubytovna. Proti vchodu stojí socha sv.Jana Nepomuckého.                                          

V dolní části města je park s pomníkem TGM. Busta, která nahradila původní sochu TGM, je dílem chrudimského ak. Sochaře Josefa Brože. Naproti parku se nachází budova bývalého Masarykova domu sociálně zdravotní péče, která slouží dosud jako zdravotní středisko. Z budovy zrušené Státní školy pro lesní hajné ve Slatiňanské ulici a z nově přistavěných objektů vznikl v r.2003 dům s pečovatelskou službou. Nasavrky tvořily odedávna jeden celek s hradem Strádov, který leží ve Slavické oboře. Dnes je z hradu zřícenina. Z významných osobností žijících v Nasavrkách: V místní části Libáň prožíval své dětství významný český skladatel-romantik Zdeněk Fibich. Nasavrky jsou rodnou obcí sólistky hudebního divadla v Karlíně a profesorky pražské konzervatoře Gally Macků, akad. malíře profesora Jiřího Poláčka a doc.ing.Petra Chvojky, autora několika televizních večerníčků.  Mnoho let zde žila akad.malířka Věra Vovsová. Ve 40. letech zde také působil spisovatel Miloš Vysocký.     Mezi významné objekty v okolí Nasavrk patří také toleranční kostel českobratrské církve evangelické, postavený v 80. letech 18. století v nedalekém Hradišti.