Ostrožac se prvi put spominje 1286. godine kao posjed knezova blagajskih Babonića. Tvrđava je mnogo puta mijenjala gospodare od knezova, aga, begova i kapetana. Godine 1577. tvrđava postaje vlasništvo Ferhad-bega Sokolovića. Nakon njegove kratke vladavine general Khevenhüller osvaja Ostrožac. Godine 1579. Osmanlije zaposjedaju Ostrožac. Oko 300 godina Ostrošcem upravlja porodica Beširević, sve do 1836. kada se ukidaju kapetanije. Mehmedbeg Beširević ostrožački grad prodao Lotharu von Berksu, okružnom načelniku u Bihaću. Ovaj je izvršio restauraciju utvrde i izgradnju dvorca u koji se uselio 1902. godine. Lothar von Berks, vitez Malteškog reda, rođen je 11. jula 1850. u Sunji. 1878. godine učestvuje u okupaciji Bosne i Hercegovine kao poručnik. Ostaje u Bihaću gdje će od 1895. do 1907. biti okružni načelnik.

Porodica Berks se 1932. seli u Slavoniju a svoj veleljepni dvorac Ostrožac od tada pa do 1942. koriste kao ljetnikovac. 16.10.2012. godine je u Selcu preminula kćerka Lothara i Anamarije pl. Berks, Julijana Petrović rođ. pl. Berks. Ona je do tada bila jedini potomak te porodice, koja je još kao dijete živjela u dvorcu Ostrošcu. Sačuvane su mnogobrojne fotografije iz tog vremena. Za vrijeme Drugog svjetskog rata, Ostrožac je jedno vrijeme bio sjedište vrhovnog štaba NOR-a. Od 1967. do 1992. godine u dvorištu utvrde je radila kolonija skulptura Ostrošca.

Danas su skulpture izložene u vrtu dvorca, a dvorac se obnavlja u zadnji čas prije svoga propadanja – unutrašnjost je potpuno uništena vremenom i ratom, te nemanjem sredstava za obnovu, a i ljudkim nemarom. Šteta!