A várat 1285 előtt építhette a Hont-Pázmán nemzetség egyik tagja. Később Csák Máté, a környék legnagyobb földesura birtokolta. Csák Mátétól Károly Róbert elkobozta a várat, amely 1390-ig királyi birtok maradt. Akkor Zsigmond király csereként a Tari családnak adta, majd később visszacserélte tőlük. 1438-ban Albert király Pálóczy György esztergomi érseknek adományozta. Az érsek egy évszázadon át birtokolta a várat. A törökök 1543-ban elfoglalták Esztergomot, Várday Pál érsek a drégelyi várba menekült, és Szondi Györgyöt nevezte ki várkapitánynak. A nógrádi vár eleste után a drégelyi vár szerepe megnőtt. 1552. július 6-án a budai pasa 12 ezres sereggel támadt a várra. Szondinak 146 védője volt. 4 napig kitartottak Szondiék. A pasa nagy tisztelettel temette el a hősöket.

A törökök nem állították helyre a várat, csak helyőrséget hagytak ott, és a falu temploma körül építettek egy új erődítményt, palánkot. 1593-ban a magyarok visszafoglalták, 1663-ban őrsége a török elől elmenekülve felgyújtotta. A romos várnak további szerep nem jutott. A vár feltárása és helyreállítása jelenleg folyamatban van.