Um 1435 kaufte Jörg von Puchheim drei Häuser an der Freyung, welche er baulich verbinden und zu einer Wohnstätte umbauen liess. Um 1600 wurde das Anwesen von Reichsgraf Karl von Harrach gekauft, und 1658 ging es in den Besitz der Familie Auersperg über. Nachdem das Gebäude während der Türkenbelagerung 1683 niedergebrannt war, kaufte Ferdinand Bonaventura Graf von Harrach das Anwesen und brachte es somit wieder in den Besitz derer von Harrach. Er liess die Brandruine beseitigen und nach Plänen von Domenico Martinelli das heutige Palais bauen. Um 1696 war die Innenausstattung vollendet.

Das Palais Harrach steht am Beginn der Entwicklung des hochbarocken Palastbaues in Wien. Die dreizehnachsige Fassade an der Freyung wird durch die beiden übergiebelten zweiachsigen Seitenrisalite und ein rundbogiges Portal in der Mitte betont. Die senkrechte Gliederung erfolgt durch korinthische Riesenpilaster, die alle drei Geschosse zusammenfassen. Die Fenster der Beletage sind mit segmentbogigen und dreieckigen Verdachungen versehen. Über dem repräsentativen Mittelportal springt ein, auf zwei freistehenden toskanischen Säulen ruhenden Steinbalkon vor. Zwei Rundbogennischen flankieren das Tor. Über dem Mittelfenster ist ein steinernes Wappen der Familie Harrach angebracht. An den Enden der Hauptfront gibt es zwei kleinere und einfachere Rundbogentore.

Die zur Schottengasse gerichtete Seitenfassade ist konkav geknickt. Das vieleckige Treppentürmchen ist ein Rest des abgerissenen Wintergartens. Das hinter dem Hauptportal liegende querovale Vestibül führt durch ein Rundbogentor zum rechteckigen Großen Hof. Seine Pfeilerarkaden sind verglast bzw. verblendet. Eine Hofecke ist mit einem Brunnen geschmückt, dessen Wasserspeier als Maskaron ausgebildet ist. Im gesprengten Segmentgiebel des Brunnenaufsatzes steht eine große steinerne Ziervase. An der linken Hofseite führt ein Durchgang zum Kleinen Hof, der an das benachbarte Palais Ferstel grenzt. Auch seine Pfeilerarkaden sind heute weitgehend verglast. Die Verbindung zur Ferstel-Passage wurde erst bei der letzten großen Renovierung geschaffen. Vom Vestibül gelangt man rechts zur Sala terrena. Dieser Eckraum im rechten Seitenrisalit stellte seinerzeit die Verbindung zum heute nicht mehr existierenden Garten her.

Die Stuckarbeiten stammen von Johannes Piazoll, und Antonio Beduzzi schuf die restlichen Dekorationselemente. Fälschlicherweise glaubte man lange, der Architekt Johann Lucas von Hildebrandt hätte das Palais Harrach erbaut. Von ihm stammte jedoch nur das kleine Salettl, welches auf dem seitigen Vorplatz einst existierte. Damals befand sich hier ein kleiner Palaisgarten, einer der wenigen, welche sich im Stadtzentrum befanden. Um 1844 liess Franz Ernst Graf von Harrach am Palais umfangreiche Umbauten vornehmen. Um 1850 erneuerte man auch das Innere, was hauptsächlich unter Franz Schönthaler geschah. Nachdem Bomben im Zweiten Weltkrieg grosse Schäden am Palais Harrach verursacht hatten, wurde in den Nachkriegsjahren bis 1952 der ursprüngliche barocke Zustand weitgehend wiederhergestellt.

Danach beherbergte das Palais eine wertvolle private Gemäldesammlung, welche dann jedoch nach Schloss Rohrau in Niederösterreich verlegt wurde. Die Fassade auf der Seite der Herrengasse hat weitgehend noch immer ihre ursprüngliche frühbarocke Gestalt, während die Hauptfassade gegen die Freyung im Zuge der Umbauten von 1844 wesentlich verändert wurde. In den prachtvollen Sälen im ersten Stock befindet sich heute eine Aussenstelle des Kunsthistorischen Museums. Das Kuppelfresko in der Hauskapelle ist ein Werk von Michael Rottmayr. Die Decke der Galerie weist ein beeindruckendes barockes Deckengemälde auf, welches eine mythologische Szene zeigt. Auffallend ist der edle rote Marmor aus welchem Portalrahmen und das Balustradengeländer des reich stuckierten Treppenhauses gearbeitet sind.