A 150 fős védelem - miután Nógrád várát a helyőrség harc nélkül feladta - 1552. július elején hirtelen Ali pasa 10000 főnyi seregével találta magát szemben. Az ostrom július 6-án kezdődött. Szondi a pasa felszólítására sem adta fel a várat. Két török foglyát és két fiatal, énekes apródját leküldte a pasa táborába, ő pedig a várvédőkkel együtt szembeszállt a hatalmas túlerővel. Az ostrom 4. napján életüket veszették, áldozatuk a hazaszeretet és kötelességteljesítés példája azóta is. A hagyomány úgy tartja, hogy maga Ali pasa is tisztelettel adózott ellenfele bátorságának, hősnek kijáró temetést rendezett neki és társainak az Aranygomb-hegyen, az apródokat pedig felnevelte.

Az elfoglalt és az ostrom során lerombolt várat már nem építették újjá a törökök, helyette évek múlva lent a faluban emeltek palánkvárat. A hegyi vár közel 450 évig pusztult, omladozott, de 1989 óta feltárási és állagmegóvási munkákat végeznek. Omladozó állapotában is megmaradt a belső vár szűk bejárata a sziklába vájt lépcsőkkel, jól látható az északnyugati várfal, valamint néhány belső épület alapfala. A vár északi végén két, félkör alakú védmű (bástya?) lehetett. A külső, vagy alsó várba sziklába vágott folyosó vezetett. Valószínű ez volt az alapja a legendának, mely szerint Drégely, Kámor és Nógrád várát egykor föld alatti folyosó kötötte össze. A külső várban igen mély kút - a monda szerint 190 m - szolgálta a vár vízellátását. A feltárási munkát a Drégelyvár Alapítvány segíti.