Раніше придворний театр знаходився в південно західному ризаліті Зимового палацу.
Палац був побудований в 1754-1762 роки за проектом обер-архітектора графа Ф.-Б.Растреллі для імператриці Єлизавети Петрівни. Перший спектакль в цьому театрі, як його називали - Оперному домі, відбувся в 1763 році. До цього часу на троні вже була Катерина II, яка цінувала театр і вважала його корисним для виховання суспільства. У другій половині XVIII століття на зміну пишному стилю бароко в мистецтві прийшов раціональний класицизм, змінювалися смаки і Катерина II наказала створити на місці Оперного будинку в Зимовому палаці житлові покої, а для театру будувати нову будівлю. Проектування було доручено італійському архітекторові Джакомо Кваренгі, який на той час уже створив цілий ряд прекрасних творів архітектури в Петербурзі.
Проект нагадував театральний зал, створений А.Палладио (його послідовником був Кваренгі) в місті Віченці. Перед сценою повинен був розміститися партер, за яким піднімалися стрункі ряди глядацьких місць.
Інтер'єр оформляли десять вільно коштують колон, за якими стояли ніші з декоративною скульптурою. Будівництво Кам'яного театру йшло в три етапи. Спочатку звели зал для глядачів і сцену. Кваренги включив в обсяг театру - будівля Лейб-компанского корпусу.
Стіни старого будинку стали опорою для нової споруди. Цей будівельний етап був майже завершений до літа 1784 року, проте Катерина двічі розпоряджалася «учинити переробку» і в початковий проект вносилися зміни. Сцена була збільшена, проходи між рядами розширені, зал для глядачів від решти простору був відділений галереєю. Для створення галереї між колонами звели стіни і вони перетворилися в напівколони. Над карнизом, який напівколони підтримували, розмістилася ліпна гірлянда.
Стіни Ермітажного театру були облицьовані штучним мармуром сірого та білого кольорів, на їх фоні ефектно виділялися яскраво-рожеві з прожилками напівколони, виконані так само зі штучного мармуру. Простінки між полуколоннами мали різну ширину-великі нагадували своїми обрисами арки, в малих знаходилися ніші з напівкруглими завершеннями в яких розмістили статуї Аполлона і дев'яти муз, роботи скульптора К.Альбані.
Простір над нішами в малих простінках прикрасили декоративні медальйони з рельєфними профілями знаменитих діячів театру: Мольєра, Ж.Расіна, Вольтера, А.П.Сумарокова і ін.
Капітелі напівколон коринфського ордера прикрашали театральні маски - за зразком античних капітелей, знайдених Кваренги при розкопках Помпеї. Для поліпшення акустичних властивостей приміщення над авансценою і під оркестром були влаштовані напівкруглі склепіння з сосни.
Висвітлювали театральний зал десять люстр, які для заміни згорілих свічок опускали за допомогою спеціальної системи блоків. Механіком Т.Дампьері були створені механізми для сценічних ефектів. Театральна завіса був оформлений за ескізом знаменитого художника-декоратора П.Гонзага, який був запрошений до Петербурга за рекомендацією Кваренгі.
Замість звичної декоративного живопису на завісі був зображений фасад Ермітажного театру. Так як оформлення фасаду будівлі не було завершено, то художник використовував малюнки і креслення Кваренги (завіса не зберігся). Подібний новаторський прийом Гонзага вже застосовував незадовго до від'їзду з Італії, де він оформив завісу для міланського театру Ла Скала.
Сам Кваренги вважав будівля Ермітажного театру своєї творчою удачею. Після закінчення будівництва архітектор довгі роки стежив за будинком-це входило в його обов'язки, він так само вносив зміни у вигляд театру.
У 1796 році в театрі з'явився новий завіса, створена за ескізом художника Г.Ф.Дуайена. На завісі був зображений Аполлон і алегоричні фігури Мистецтва, Чесноти і Науки на тлі напівкруглого храму з колонами.
У 1786 році Кваренги склав документ про нагляд за театром з штатом службовців. Так як театр з'єднувався з імператорської резиденцією, то була передбачена охорона. У штат також входили два опалювача, доглядач (відповідав за все речі, які стосуються театру-меблювання, реквізит). Доглядач повинен був володіти кількома мовами, так як в його обов'язки входило спілкування з іноземними акторами.
На сцені Ермітажного театру грали відомі російські актори: И.А.Дмитревский, С.Н. і Е.С. Сандунова, Я.Д.Шумскій і ін. Закордонне театральне мистецтво представляли композитори Д.Чімароза і Д.Сарті, танцівник К.Лепік і Г.Россі (мати архітектора К.І.Россі).
Для імператриці і спеціально запрошених гостей ставили крісла в партері, інші глядачі займали місця за своїм бажанням. За словами Кваренги - «В цьому театрі немає жодного привілейованого місця, звідси вигнаний всякий етикет, кожен може сідати там, де йому заманеться».
Після смерті Катерини II за вказівкою Павла I Ермітажний театр був закритий. Через рік уявлення відновили, але з театрального залу Павло повелів прибрати медальйони з профілями французьких просвітителів і «баламута» А.П.Сумарокова. Відвідування театру було строго регламентовано-амфітеатр розділили на половини для дам і кавалерів, дами повинні були приходити лише в «російських сукнях», стоячі місця призначалися для камер-юнкерів. З'явилися двері, які з'єднали театр з новими казармами. Під казарми першого батальйону Преображенського полку була перероблена частина старого Лейб-компанского будинку.
У 1823 роки Олександр I наказав відкрити двері, що ведуть в казарми, а театральний зал перетворився в манеж і військовий плац. За три роки, поки тут господарювали військові, зал і його декор були пошкоджені-розбиті статуї і мармурові стіни, майже повністю знищений плафон.
При Миколі I в 1826 поновилися в Ермітажному театрі вистави, через рік відновилися і уявлення з «кришталевої наметом», в поспіху провели відновлювальні роботи. Реставраційні роботи в театрі постійно переривалися і йшли протягом майже всього XIX століття.
Новий розквіт Ермітажний театр пережив на рубежі XIX-XX століть. У 1894 році почалася генеральна реконструкція будівлі під керівництвом архітектора А.Ф.Красовского. Не все було можливо відновити, але театральному залу повернули майже «Кваренгіевскій» вигляд.
У 1902 році був створений новий інтер'єр театрального фойє. На початку XX століття для Ермітажного театру працювали відомі художники: А.Я.Головін, А.Н.Бенуа, Л.С.Бакст, К.А.Сомов. На сцені сяяли: Н.Н.Фігнер, Ф.И.Шаляпин, Л.В.Собинов, М.Ф.Кшесінская, А.П.Павлова, А.Я.Ваганова.
Після революційних подій 1917 року нарком освіти А. В. Луначарський підписав постанову про влаштування в театрі уявлень для народу. Співпрацювати з театром почав режисер В. Е. Мейєрхольд, але відкрити театр йому так і не вдалося. У 1926 році в місті йшло будівництво будинків культури та все необхідне для їх оснащення вирішили взяти з Ермітажного театру-сцена була демонтована. У театрі розмістився Робочий університет ім. Луначарського. На сцені повісили екран, в залі встановили проектор і почали проводити лекції.
С.Л.Гінзбург-музикознавець, віолончеліст, в майбутньому професор Ленінградської консерваторії виступив з пропозицією про створення в колишньому придворному театрі Державного музичного музею. За роки роботи в філармонії він зібрав колекцію старовинних музичних інструментів, в 1932 році вона була передана в Ермітаж. Директор Ермітажу Б.В.Легран підтримав пропозицію Гінзбурга, новий проект отримав назву «Історичні концерти-виставки». Концерти мали супроводжуватися виставками скульптури і живопису.