Вулиця виникла в 1870-1890-х роках. Спочатку це був безіменний проїзд, але, коли в 1890 році в сквері на перетині з Великої Дорогожицької вулицею (сучасна вулиця Мельникова) була споруджена каплиця св. Осія, проїзд стали називати Осіївській. У 1892 році його офіційно позначили на плані міста як Осіївській вулицю. Але новостворена вулиця була занадто короткою, а вдома на неї були пронумеровані так, немов вони перебували на Великій Дорогожицькій вулиці. Продовженням Осіївській вулиці служила Малодорогожіцкая вулиця, яка мала власну нумерацію, що створювало безлад і нерозуміння. В кінці-кінців місцеві жителі звернулися в 1910 році до міської влади з проханням вирішити це питання, і в 1912 році обидві вулиці були об'єднані під назвою Осієвський вулиця і пронумеровані заново, від розгалуження з Великої Дорогожицької.
Сучасну назву вулиця отримала в 1939 році, на честь російського письменника А. І. Герцена. Заключний відрізок вулиці Герцена - незабудована спуск до Реп'яховому яру - існує під неофіційною назвою спуск Герцена і позначений як такий на деяких картосхемах Києва.
В кінці XIX - на початку ХХ століття вулиця мала звичайну двоповерхову забудову, частина якої збереглася до другої половини ХХ століття. Серед будинків по вулиці Герцена виділяється № 6 - особняк, що належав архітекторові Едуарду Брадтманом. Двоповерхова будівля, зведена в 1914 році в стилі модерн. Фасад прикрашений орнаментальними вставками і деталями.
Ще одним пам'ятником історії і архітектури є будівля № 12 - колишній особняк Бєльського, за радянських часів - дача М. Хрущова. У 1889 році аптекарський помічник Октавіан Бельський придбав в Кмітовом Яру ділянку під будівництво. У 1893 році тут почалося будівництво садиби за проектом архітектора Н. Казанського. Будівля мала дев'ять вікон по фасаду, з двома ризалітами по краях, які переходили в вежоподібні обсяги, увінчані банями зі шпилем. Фасад був декорований в стилі неоренесансу. Пізніше Бєльський, ставши вже власником аптеки, придбав сусідню ділянку і спорудив на ній другий особняк, який здавався в оренду. Обидва будинки, оточені парком, склали відокремлену від решти забудови садиби.
У 1920-х роках особняки були націоналізовані, а парк став місцем громадського відпочинку. Згодом садиба була переобладнана на режимний об'єкт. Спочатку тут проживав в 1934-1937 роках народний комісар внутрішніх справ УРСР В. А. Балицький. За його вказівкою ліве крило особняка розширили, а в парку спорудили численні малі архітектурні форми - містки, альтанки, статуї. Перед Великою Вітчизняною війною 1941-1945 років вся садиба використовувалася як піонерський табір. В кінці 1943 року сюди переїхав член Військової Ради I Українського фронту М. Хрущов, і проживав тут до 1949 року. Коли Хрущов переїхав до Москви, садиба продовжувала бути резиденцією перших секретарів ЦК. Останнім тут проживав П. Ю. Шелест. Його наступник В. Щербицький передав особняк Науково-дослідному інституту педіатрії, акушерства і гінекології.