Lang voor 1241,toen Brezice voor het eerst werd vernoemd, was er reeds een houten vesting aanwezig op deze plaats.
In 1479 zat deze stad gevangen in een oorlog tussen keizer Frederik III van Habsburg en de Hongaarse koning Matthias Corvinus die het kasteel bezette tot aan het vredesverdrag in 1491 waardoor het werd overgedragen aan de Habsburgers.
Tijdens de grote boerenopstand van 1515 werd het kasteel erg beschadigd waardoor het terug werd opgebouwd tot 1528 en kasteel vervolgens weer werd verwoest door een brand.
Omwille van de verhoogde dreiging van de Turkse invallen werd er echter gestart met een programma voor een zeer snelle heropbouw. Â Reeds in 1529 gaf keizer Ferdinand I de goedkeuring voor de bouw van een nieuw kasteel.
Tussen 1530 en 1551 bouwden Italiaanse bouwmeesters de belangrijkste elementen van de huidige structuur en de vier verdedigingstorens die verbonden zijn door dubbele verdedigingsmuren.  In 1554-1555 werkten eveneens de renaissance-bouwmeesters Andrea en Domenico dell’Allio aan het kasteel.  Een wapenschild toegevoegd aan de façade betekende dat het bouwwerk eindelijk was afgewerkt en dit door de familie Gall von Gallenstein in 1590.
In het midden van de 17de eeuw ging het kasteel over van de Gallensteins naar de edelfamilie Van Frankopan.  Na de dood van Julianna Van Frankopan in 1694 verkochten haar erfgenamen het kasteel aan graaf Ignatz Maria Attems die het kasteel het huidige interieur gaf inclusief de grote trompe-l’oeil fresco’s, beelden op de muren van de Grote Zaal en het plafond met scènes uit de Griekse en Romeinse mythologie.
In 1720 werd de westvleugel gereconstrueerd en werd een grote trap en een kapel toegevoegd waarvan de muren werden gedecoreerd door schilder Franc Ignac Fluzer tussen 1715 en 1732.
Tijdens de eerste wereldoorlog 
deed het kasteel dienst als militair hospitaal en op 29 januari 1919 werd het ernstig beschadigd door een aardbeving.
De familie Attems behield het landgoed tot aan de nationalisatie ervan in 1945 en dit dus voor een termijn van maar liefst 251 jaar.
In 1949 werd het kasteel voor het eerst een museum. Ondertussen is in het kasteel van Brezice het Historisch-Volkenkundig Regionaal Museum gevestigd en worden in de ridderzaal klassieke concerten gegeven.
(Op de fotopagina kunt u nog andere foto’s bekijken van Slovenië)
