Sie kamen aus dem Elsass und dem Dunkel der Geschichte in den Aargau. Auf dem Wülpelsberg, nahe ihrer späteren Stadt Brugg, unweit dem Zusammenfluss von  Aare, Reuss und Limmat, errichteten sie um das Jahr 1020 eine feste Burg. 1108 wurde der Bau erstmals in einer Urkunde unter dem Namen "Havichsberch" erwähnt. Es war die Zeit, da adlige Herren begannen, sich nach ihren befestigten Wohnsitzen zu nennen. 

Immer öfter tauchte so auch die Bezeichnung "Grafen von Habsburg" in Dokumenten auf und zeugte von den Bemühungen der Familie, Grundbesitz, Rechte und Privilegien zu mehren. Die Dynastie der Habsburger wuchs aus Ihrer engeren Heimat heraus und der Schwerpunkt ihrer Besitzungen und politischen Macht lag schon bald nicht mehr im Aargau. Doch während die Habsburger sich anschickten große Teile Europas und schließlich der Welt zu beherrschen, ging ihnen ihr Stammschloss schon 1415 verloren und konnte trotz diverser Bemühungen nicht mehr zurückgewonnen werden. Erst 1989 schloss sich sozusagen der Kreis mit dem Tod der letzten gekrönten Habsburgerin und ihrer Rückkehr in den Aargau.

Ihre Popularität verdankt die einstige Doppelburg weniger den heute noch erhaltenen Bauten als vielmehr der Bedeutung, die ihr als Stammsitz des Hauses Habsburg zukommt. Hier, am Tor zum schweizerischen Mittelland verfügte die Familie Habsburg seit dem 10. Jahrhundert über eine umfangreiche Grundherrschaft von großer verkehrsgeographischer Bedeutung. Um 1020/30 ließ der Frühhabsburger Radbot auf dem Wülpelsberg die Habsburg erbauen.

Nach und Nach wurde dann der verbleibende Platz ebenfalls bebaut. An den starken Turm schloss sich bald ein Palas als etwas komfortablere Wohnstätte für die Burgherrschaft an. Es folgte der Burghof mit Kapelle und dem heute wieder ausgegrabenen tiefsten Sodbrunnen der Schweiz. Den Abschluss am östlichen Rand bildete ein weiterer starker Turm und der künstliche Halsgraben. Auf alle Fälle war die mittelalterliche Habsburg bedeutend größer als das, was heutzutage noch an Gebäuden am Westrand des Plateaus vorhanden ist.

Von hier zogen die Habsburger aus um die Geschichte Europas und der Welt für Jahrhunderte kräftig mitzugestalten. Der Ursprung des Geschlechtes liegt wohl im Elsass und lässt sich kaum mehr mit Sicherheit rekonstruieren. Vielleicht waren seine ersten Vertreter freie Bauern oder niedere Adlige, die nach und nach zu Wohlstand gelangten und auf der sozialen Leiter höher kletterten. 

Eine zweite Theorie besagt, der Stammvater der Habsburger sei Guntram der Reiche gewesen, geboren um ca. 910, ein elsässischer Grosser, der sich einem Aufstand gegen den deutschen Kaiser Otto I. angeschlossen hatte, deshalb 952 wegen Hochverrats verurteilt und mit dem Verlust bedeutender Güter im Elsass und Breisgau bestraft worden war. In einer Zeit, aus der sehr wenig Schriftliches überliefert ist, gelang es ihm damit "aktenkundig" zu werden.

Wenn dieser "Guntramnus dives" wirklich ein leiblicher Vorfahre der Habsburger war, so wäre dies ein mögliches Bindeglied zum frühelsässischen Herzogsgeschlecht der Etichonen und über diese sogar zurück bis zu den Karolingern. Die Geschichtsschreibung der späteren europäischen Habsburgermonarchien hat diese Variante natürlich bevorzugt und nach Kräften unterstützt. Besonders diensteifrige Schreiber fügten der Ahnenreihe auch gleich noch den Römergott Jupiter, den trojanischen Helden Äneas und weitere bedeutende Figuren der Antike hinzu. Julius Cäsar und Karl der Grosse waren sowieso vertreten, was im Falle Karls ja sogar der Wahrheit entsprechen könnte.

Guntrams Sohn Lanzelin nannte sich Graf von Altenburg, wahrscheinlich nach der kleinen Burg, welche in den noch gut erhaltenen Mauern eines spätrömischen Flusskastells an der Aare, unmittelbar oberhalb von Brugg errichtet worden war. Wenn dies zutrifft, so besaß er wohl bereits Güter im Aargau und wohnte zumindest zeitweise in diesem Vorgängerbau der Habsburg.

Als Residenz für das aufsteigende Geschlecht war die Habsburg schon bald nicht mehr geeignet, da sich der Machtbereich der Habsburger immer mehr nach Österreich ("Ostarrîchi" bzw. Ost-Reich) verlagerte. Nach zweihundert Jahren verließen die Habsburger ihren Stammsitz und verliehen ihn an Dienstadlige. 

Um 1400 gelangte die Burg an die Herren von Wolen und blieb auch nach der Eroberung des Aargaus (1415) durch die Eidgenossen in deren Besitz. Henmann von Wolen musste nach der Belagerung der Burg den Bernern huldigen und ihnen die Burg offen halten. Ab 1420 war die Burg im Besitz der Herren von Greifensee bis sie schließlich nach mehrerer Besitzerwechseln durch den neu gegründeten Kanton Aargau erworben wurde.