V dobách, kdy zdejší krajinu pokrývaly nepropustné lesy, pronikali sem jen lovci a rybáři. Jeden z nich - jmenoval se Jindřich - si zamiloval zdejší oblast a postavil si zde domek. K Jindřichovi se časem připojil další rybář a to byli podle pověsti první obyvatelé dnešních Jindřichovic.
Tuto osadu založili pravděpodobně němečtí kolonisté. Od nich byla odkoupena mocným rodem Šliků. Ti zde po roce 1500 založili tvrz. Poslední šlikovský majitel Jáchym prodal panství Ottovi Nosticovi. Otto se postavil na stranu Habsburků a po Bílé hoře skoupil okolní pozemky za pakatel.
Roku 1672 byl postaven na místě staré tvrze Janem Hartvíkem Nosticem barokní zámek. Ten byl později upraven pseudogoticky. V dnešní době je jádrem zámku dvoupatrová čtyřhranná budova s nárožními věžemi. Na každou z nich navazují patrová postranní křídla.
