Wann an der Stelle des heutigen Schlosses eine erste Befestigung errichtet wurde, ist nicht bekannt. 1240 wird Dietricus de Rorow erwähnt, der damals in mehreren Urkunden als Zeuge aufscheint. Er stammte aus dem Geschlecht der Liechtensteiner. Die Liechtensteiner Nebenlinie von Rohrau starb 1278 mit Dietrich III aus. Über seine Tochter Diemud kam die Herrschaft an ihren Gatten Leutold von Stadeck. Die Tochter der letzten Stadeckers war mit Graf Ulrich von Montfort-Bregenz verheiratet, der ebenfalls Ansprüche auf Rohrau erhob. 1404 erhielt es dieser vom Gegenkönig Ruprecht von der Pfalz zugesprochen. Die Herrschaft blieb nun 120 Jahre lang bei den Grafen von Montfort, bis diese sie 1524 an Leonhard III von Harrach verkauften.