Die Höhenburg wurde zwischen 1174 bis 1194 von den Herren von Nußberg ("de Nuzbach 1125"), die Ministeriale der Grafen von Bogen waren, als Stammsitz erbaut. Die Burg wurde später an die Herren von Degenberg verkauft und 1310 verließ Konrad von Nußberg die Burg und erbaute die Burg Neunußberg. Während des Aufstandes der Bayerwaldritter 1468 bis 1469 gegen die Politik von Erzherzog Albrecht IV. von Bayern, dem sog. Böcklerkrieg, Hans von Degenberg war einer der Anführer des Böcklerbundes, wurde die Burg nach Übergabe durch den Burghauptmann Ratzko von Rayol in Brand gesteckt und geschleift. Ab 1983 wurde die Burg zum Teil wieder aufgebaut.
