Tvrz postavili pravděpodobně v 2. polovině 14. století Pluhové z Nesovic (v okolí tvrze byl objeven klenák s erbem Pluhů). V 15. století náležela vladyckému rodu užívajícímu přídomku z Řimic. V 2. polovině 15. století zpustla, roku 1495 ji získali páni z Vlašimi. V 16. století však byla obnovena v renesančním slohu jako obytná budova největší poddanské usedlosti ve vsi.
Ves byla z počátku rozdělena na dvě části a každá měla svého majitele. Větší část vsi (24 domů) patřila až do zrušení poddanství k panství úsovskému a druhá část (17 domů), na které byla údajná tvrz, byla vladyckým zbožím a příslušela až do zrušení nevolnictví ke statku červenolhotskému. Po Řimicích se psal Oneš již v r. 1281. Tvrz v Řimicích je zmiňována jako sídlo Bohuše ze Slavoňova v roce 1359. Další zmínka o tvrzi je v latinském zápise z r.1391 do olomouckých zemních desek. V r. 1415 se uvádí Jan z Řimic na stížním listě proti kostnickému koncilu. Jiný Jan z Řimic píše o „tvrzišti„ v listině z roku 1495. Nachází se ve starém jádru obce na východním výběžku ostrohu v místě domu čp.11, jehož poloha nese neklamné známky, že se jedná o budovu, která sloužila k obytným i obranným účelům zámožného majitele. Na zdech objektu na severozápadně situovaném rohu se nacházela původní sgrafitová omítka. Na pozemku se nacházel i hraniční kámen se symbolikou úsovského a bouzovského panství s letopočtem 1725.