Die Burg wurde in der zweiten Hälfte des 13. Jahrhunderts von den Herren von Schellenberg errichtet.
1273 ging die Herrschaft an Rudolf von Habsburg und in der Folge 1332 an Graf Wilhelm II. von Montfort († 1354). Zusammen mit der nur etwa 170 Meter entfernten Burg Hugofels wurde hier eine Doppelburg-Anlage errichtet.
Die Burg wurde 1462 durch einen Blitzschlag zerstört und anschließend wieder aufgebaut. Während des Deutschen Bauernkrieges (1525) belagerten die Aufständischen die Doppelburg erfolglos. Graf Wolfgang von Montfort soll sich damals mit seinen Knechten in den großen Wohnturm der Burg Hugofels zurückgezogen haben.

1546 besetzten Truppen des Schmalkaldischen Bundes die Anlage.

1565 verkaufte Graf Ulrich als letzter seines Stammes die Veste an seinen Schwager Johann Jakob von Königsegg. Nachdem die Freiherren von Königsegg 1629 in den Reichsgrafenstand erhoben worden waren, wurde die Residenz hinunter ins Stadtschloss zu Immenstadt verlegt.