První zmínky o obci, nebo přesněji o tvrzi - dnešním zámku ležícím uprostřed obce - se datují k roku 1267. Jejím majitelem Pluh z Rabštejna, který byl úředníkem Oldřicha z Hradce. Území mu bylo dáno jako léno v rámci probíhající kolonizace.

Až do 15. století byla tvrz (a s ní i celá vesnice) ve vlastnictví Pluhů ze Žďáru. Odtud název obce.

V 18. století vlastnila statek se zámkem a dvorem Marie Anna Janovská z Janovic, od r. 1793 rod knížat Paarů. Roku 1802 vyhořel panský dvůr a s ním většina vesnice.

Z erbu Pluhů vychází podoba obecního znaku a vlajky.

Od 25. března 2005 obec užívá znak a vlajku.