Коли старший брат Борис поїхав в Москву і обзавівся там сім'єю, Зіновій Гердт переїхав до нього. У Москві він потрапив в ФЗУ Електрокомбіната, при якому був Театр робочої молоді, що згодом став театральною студією Арбузова і Плучека. Після постановки «Міста на зорі» студія мала стати театром, але цьому перешкодила війна. Акторам ТРАМу, як учасникам фронтових бригад, покладалася бронь, але Гердт пішов до військкомату і упросив відправити його на фронт, і рік провоював лейтенантом роти саперів.
Актор Роберт Ляпидевский розповідав: «Сергій Володимирович Образцов за своїм характером не міг терпіти таких акцій Гердта. Він розумів їх по-своєму, і у вісімдесят другому році Гердта викликали в Міністерство культури. Там, в кабінеті, тодішній міністр переказав Зіновію Юхимовичу ультиматум Образцова: «Або Гердт, або я». Пережив це Гердт спокійно і красиво, як чоловік. Переживання як такого видно, природно, не було. Він шкодував лише про одне - що втрачає улюблену професію, улюблених партнерів, своїх глядачів - після тридцяти шести років роботи в цьому театрі.
На подальшій творчій кар'єрі Гердта відхід з театру ляльок позначився благотворно. Він розкрився перед глядачами в концертах і виставах - будь-яка аудиторія був в захваті від спілкування з ним.
Гердт грав в театрі «Современник», театральному центрі імені Єрмолової, знявся у фільмах «Військово-польовий роман», «Солом'яний капелюшок», «Про бідного гусара замовте слово» і багатьох інших.
Зіновій Гердт зіграв в кіно понад сто ролей, серед яких: Карл Сигизмундович зі шкільного фільму «Розіграш», цвинтарний сторож з музичної комедії «Троє в човні не рахуючи собаки», людина в картатому пальті з комедії «Вас викликає Таймир» і відразу три ролі в дитячому музичному фільмі «Автомобіль, скрипка і собака Клякса».
Закохані в актора режисери часом спеціально писали для Гердта хоча б епізод. Далеко не всі ролі були гідні цього великого актора, але те, що він зі своєю біблійної сумом в погляді облагороджував кожну з них, сумніву немає. І те, що він двічі зіграв бабелевского Ар'є-Лейба з синагоги ізвозопромишленніков - у фільмах «Мистецтво жити в Одесі» і «Биндюжник і король», здається само собою зрозумілим. Кому ж, як не йому цей герой за можливостями і по чину?
Він взагалі дуже радів, якщо поруч з ним виявлялися професіонали. Одного разу він сказав: «Вміти любити чужої талант - це теж талант». І ще: «Знаєш, що дратує? Так як я старий, люди мене уважно слухають, тому що вважають дуже розумним. А насправді це не так. Подивися на мене і міцно запам'ятай: розумні люди виглядають як раз навпаки ».
Зіновій Гердт прожив 80 років, і в кінці життя був важко хворий. Але він знайшов в собі сили зібрати на ювілей численних друзів, які, звертаючись до Гердт, не знали - як приховати сльози. Під час ювілейного концерту Гердт погано себе почував, і в гримерці, де він відпочивав, від нього не відходив Юрій Нікулін.
Зіновій Гердт ні розпещений славою і зірковістю. Він, звичайно, відбувся, але у нього самого завжди було відчуття, що він не той за якого славиться. Актор завжди був незадоволений своєю грою. Коли чекали, що він прийде і всіх насмішить, Гердт раптом читав пронизливі вірші Пастернака. Його не допускали участі ведення «Кінопанорами» за неприпустимі тоді на телебаченні «я думаю» і «я вважаю», а він розмірковував над природою Чурикової і Чапліна.
Він заслужив своїм життям, своєю роботою всенародну любов. Причому любили його не як актора або ведучого, а саме як людини. Причина, мабуть в тому, що Зіновій Юхимович більше будь-якої зі своїх ролей і всієї їх суми. До Зіновію Гердт тяглися найрізноманітніші люди, з ним хотіли спілкуватися, дружити, його слухали. В останні десятиліття життя він став моральним орієнтиром кількох поколінь кінематографістів і глядачів.
