Zámek nahradil tvrz, která zde stála ještě na skalním útesu. Až po přehrazení potoka a napuštění rybníka se zámek ocitl na ostrově. Tento počin byl uskutečněn roku 1530 pány s příznačným jménem, Kábové z Rybňan. Nejrazantnější úpravy zaznamenal zámek až v 19. a 20. století, které mu daly dnešního vzhledu
Červená Lhota zaznamenává velký turistický úspěch. Je zde expozice představující byt posledních majitelů zámku, knížat Schönburg-Hartenstein, kteří zde žili v 20. století. Tradiční nábytek a obrazy zámeckého půvabu charakterizují atmosféru tehdejší doby. Prohlídkové okruhy můžete projít ještě dva. Uvidíte při nich sklepení zámku a kapli Nejsvětější Trojice. Právě se připravuje ještě otevření poslední expozice, která se bude odehrávat v podkrovních prostorách zámku.Jen dejte pozor ať Vás neodnese čert jako protagonistku známe pověsti z těchto míst, která svou krví způsobila červenou barvu na stěnách zámku!