První zmínky o obci, nebo přesněji o tvrzi - dnešním zámku leícím uprostřed obce - se datují k roku 1267. Jejím majitelem Pluh z Rabštejna, který byl úředníkem Oldřicha z Hradce. Území mu bylo dáno jako léno v rámci probíhající kolonizace.
A do 15. století byla tvrz (a s ní i celá vesnice) ve vlastnictví Pluhů ze ďáru. Odtud název obce.
V 18. století vlastnila statek se zámkem a dvorem Marie Anna Janovská z Janovic, od r. 1793 rod kníat Paarů. Roku 1802 vyhořel panský dvůr a s ním většina vesnice.
Z erbu Pluhů vychází podoba obecního znaku a vlajky.
Od 25. března 2005 obec uívá znak a vlajku.