Він запам'ятався російським кіноглядачам своїми ролями в кіно: непомітними і частіше - другого плану, але значними через відчутною внутрішньої сили актора, прихованої під його значним виглядом. Друг Петра Щербакова - Євген Євстигнєєв високо цінував його своєрідний талант, називаючи «дуже високим пам'ятником». Причина смерті Петра Щербакова - хвороба серця.
Щербаков народився в 1929 році, в селі Поздняково, Калузької області. Він прийшов в кіно не зовсім звичайно: будучи сином робітника - двадцятип'ятитисячників, Петро успішно трудився на ЗІЛі і вже перейшов вчитися у ВТУЗ після відмінного закінчення технікуму, але випадково заглянув в ГИТИС ім. Луначарського і попросив педагогів подивитися на його гру. «Якщо для театру не годжуся, так і скажіть. Я не Катерина, в Волгу не кину! »Його прослухали і, як не дивно, взяли в інститут, та ще й на другий курс, тому що факультет акторів в тому році не набирали.
У 1953 році, закінчивши ГИТИС, він виїхав до Німеччини в Театр групи радянських військ і пропрацював в ньому 3 роки. З 1958 по 1985 рік Щербаков був актором трупи театру «Современник» і був в ньому незмінним партійним лідером. Він багато робив для «Современника» в цій якості, знаходячи спільну мову з партійними чиновниками і часто домагаючись від них неможливого. Коли в 1985 році він переходив працювати в МХАТ, ближче до одного Євстигнєєву, режисер «Современника» Галина Волчек благала його дружину Валентину утримати для театру «Не актора, а парторга Щербакова», незважаючи на його чималі успіхи на сцені.
У кіно Щербакову пощастило зіграти майже в 90 фільмах і ролі у нього були цікавими по суті і об'ємними за часом, але він виконував їх з властивою йому стриманістю і глибинної силою, рідко виражаються в яскравих зорових ефекти. Найбільш помітними його ролями стали образи у фільмах «Добровольці», «Дні Турбіних», «Службовий роман», «Ми з джазу», «Місто Зеро» і деякі інші.
Він похований на Ваганьковському кладовищі Москви.