První zmínka o přestavlcké tvrzi pochází z roku 1174. Tvrz shořela a byla znovu postavena v 15.století za vladyků Matěje a Stoška z Přestavlk. První písemná zpráva o Přestavlkách jako vsi je z roku 1440, kdy zde měl majetek jistý Matěj z Přestavlk. Potom zprávy o Přestavlkách mizí a teprve v roce 1544 je doložen prodej tvrze, dvora a vsi Přestavlk Matějem Hložkem ze Žampachu Otíkovi z Bubna. V 16.století patřila k Přestavlkám i sousední Rájec. V roce 1552 se Otíkovi synové rozdělili o otcovské majetky a Přestavlky s tvrzí tehdy připadly Mikulášovi z Bubna, kdy byla tvrz přestavěna na renesanční zámeček. V roce 1574 vše Mikuláš prodal Karlu Žampachovi z Potštejna. Poručník jeho nezletilých synů Adama a Karla, Zdeněk Žampach z Potštejna a na Novém Světlově, prodal r. 1598 Přestavlky Bedřichovi z Oppersdorfu. Oppersdorfové drželi Přestavlky do r. 1627, kdy je od Bedřichova syna Bedřicha získal Jan Otík Bukovský z Hustířan, výměnou za Žampach. Za uvedených držitelů Přestavlk nebyla tvrzi věnována velká pozornost, neboť tito majitelé měli buď vážné hospodářské problémy, nebo v Přestavlkách nesídlili. Je proto velmi prevděpodobné, že právě za Bukovských z Hustířan, kteří zde vládli 100 let, došlo k přestavbě renesančního objektu na barokní jednopatrový zámek, jehož přízemí bylo vystavěno z kamene a roubené poschodí bylo omítnuto. V roce 1727 prodal vnuk Jana Otíka Jan Václav Bukovský z Hustířan Přestavlky Janu Václavu Rousovi z Lipna. To byl poslední majitel, který na přestavlckém zámku sídlil. Jeho vdova Johanka prodala v roce 1762 Přestavlky majitelce panství Kostelce nad Orlicí Alžbětě Carviani. Od té doby měly ústřední správu společnou s Kostelcem. Zámek se změnil v pouhé sídlo hospodářských úředníků, přesto došlo někdy v 1. polovině 19. století ke klasicistní výměně střechy a budova tím dostala mohutný mansardový krov. Zámeček byl využíván Kosteleckým dvorem jako hospodářská budova se sídlem úředníků. V roce 1948 byl dvůr spolu s celým kosteleckým velkostatkem v rámci revize 1. pozemkové reformy dán pod národní správu a později znárodněn. Jeho majitelem byl tehdy František Kinský a v zámku byly umístěny kanceláře MNV Borovnice a přilehlý dvůr spravován JZD. V roce 1995 byl zámek a dvůr v rámci restitucí vrácen Josefu Kinskému. V současné době objekt využívá obec k provozu obecního úřadu a místní knihovny a dvůr využívá a.s. Zopos Přestavlky.