Zakladatelem tvrze byl Vilém z Čachrova. Svou mohutností se mohla rovnat hradu. Obranu tvrze zajišťoval vodní příkop. Potomci Viléma zde sídlili až do roku 1446, pak byl čachrovský statek připojen k velhartickému panství. Zájem o ní klesl, zpustla a byla opuštěna.
Po rozpadu velhartického panství se Čachrov stal samostatným statkem. Roku 1556 připadl čachrovský statek Bohuchvalovi z Hrádku, který tvrz opravil. V 18. století sloužil objekt jako sýpka. Svou podobu tvrze si však ponechal. V roce 1976 dostal objekt novou šindelovou střechu. U tvrze stával zámek, ale poté, co vyhořel, byl stržen.
