Přimdu založil pravděpodobně německý rod Vohburgů. Kníže Václav I. nesouhlasil s touto stavbou a hrad obsadil. Od té doby sloužil a pomáhal českým panovníkům. Jeho úloha spočívala v ochraně důležité stezky. V souvislosti s ní vznikla v podhradí osada, dnešní Přimda. Od krále Jana Lucemburského dostala tehdejší Přimda mnoho důležitých privilegií. Za Lucemburků se hrad zastavoval, což přinášelo problémy. Například za panování Boršů z Oseka se odtud podnikaly loupeživé výpravy. Přitáhlo sem také husitské vojsko, kterým se podařilo vypálit jen předhradí. Dalšími majiteli byli Švamberkové, ti nejevili zájem o chátrající sídlo. V 16. století se Přimda udává jako zřícenina.
Dominantou hradu je mohutná hranolová věž, postavená z lomového kamene. Dosahuje výšky druhého patra. Za pozornost stojí zachovalý prevet nebo sdružená románská okénka.
