Die Burg Jagdberg bzw. Jagberch wurde in der zweiten Hälfte des 13. Jahrhunderts errichtet. Grund dafür war wohl, dass sich die Grafen von Montfort um 1260 in die Hauptlinie Montfort und die Nebenlinie Werdenberg getrennt hatten. Die Burg wird im Jahr 1300 erstmals urkundlich erwähnt. Sie wurde zum Mittelpunkt der gleichnamigen Grafschaft, die Graf Rudolf II von Montfort-Feldkirch für seinen Sohn Hugo IV einrichtete. Dieser nannte sich folgerichtig auch Graf von Jagdberg. Die Burg diente ihm bis zum Tode seines Vaters im Jahr 1302 als Residenz. Hugo wurde 1310 in Schaffhausen ermordet. Anlässlich der Erbteilung von 1319 fiel die Herrschaft gemeinsam mit der Stadt Feldkirch, der Schattenburg und der Burg Neu-Montfort an Rudolf III und Ulrich II von Montfort-Feldkirch. Jagdberg blieb zwar weiterhin ein eigener Gerichts- und Verwaltungssitz, verlor aber seinen Status als eigene Grafschaft. Im Rahmen einer weiteren Erbteilung kam die Herrschaft 1347 an den auf Tosters sitzenden Hugo VII von Montfort-Feldkirch. Dieser gab sie als Pfand an Hugo von Landenberg und dessen Schwager Siegfried Thumb von Neuburg weiter. Als Rudolf V von Montfort 1375 die Herrschaft Feldkirch mangels direkter Erben an Herzog Leopold III von Österreich verkaufte, behielt er jedoch Jagdberg. Es wurde aber bereits 1378 dem Haus Habsburg übergeben und als Lehen wieder zurückgenommen.