Pajrek vznikl na začátku 14. století, tehdy pod názvem Barieck. Zakladatelé byli páni z Janovic. Jako první se roku 1356 připomíná Něpr z Janovic. Ve vleklých sporech s Bavory hrál důležitou roli, avšak roku 1472 byl dobyt a vypálen. Dalším majitelem poškozeného objektu se stal Jindřich Kostomlatský z Vřesovic.
Avšak pro okolí byl symbolem strachu, jelikož podnikal se svými kumpány loupeživé výpravy. Jeho život ukončil roku 1500 na Pražském hradě kat. Po jeho smrti objekt nikdo neudržoval a Pajrek se rychle měnil ve zříceninu.
Jádro hradu tvořila mohutná hranolová věž, která plnila obrannou i obytnou funkci. Dnes se tato stavba dochovala místy až do výšky třetího patra. V okolí hradu jsou dosud patrné příkopy, jenž jsou vytesané ve skále. Můžete zde objevit dřevěný půdorys lesního divadélka z nedávné doby. Dnes již neslouží svému účelu, avšak dokonale splynulo s okolím hradu.