Prvním majitelem zdejších statků byl Albert z Kestřan. Jeho následníci si rozdělili vesnici na tři díly a každý si ve svém postavil tvrz. Dalšími majiteli se stali Švamberkové a Schwarzenberkové. Nejstarší je tzv. Horní tvrz, ve které se dochovala původní křížová klenba a v obytné věži prevety.
Nedaleko stojí tzv. Dolní tvrz, která byla chráněna vodními příkopy. Na místě třetí tvrze byl roku 1651 vybudován raně barokní zámek, který je dnes zchátralý. Obě tvrze jsou v dobrém stavu. Od roku 1994 jsou Kestřany zařazeny do památkového ochranného pásma.
