Належав до роду Третьякових. Отримав гарну домашню освіту. З дитинства підтримував дружні зв'язки з родиною власника олівцевої фабрики Рубінштейна, чиї діти Антон Григорович і Микола Григорович згодом стали відомими музичними діячами.
До кінця 1840-х рр. Третякови володіли п'ятьма лавками в Старих торговельних рядах між Ільїнков і Варварка. Після смерті батька справи вели мати і старші сини. Сам Павло Михайлович в 14-15 років був зобов'язаний постійно знаходитися в крамницях. Після смерті матері він очолив сімейне підприємство, розширив і зміцнив його. На базі декількох фабрик в Костромській губернії було засновано "Товариство Великий Костромської лляної мануфактури" (1866), яким володіла родина Третьякових.
У 1865 одружився на двадцятирічної Вірі Миколаївні Мамонтової, утвореної дівчині з відомої купецької сім'ї, музично обдарованої і розділяла увелечение чоловіка мистецтвом. Шлюб був щасливим. На сімейних прийомах бували багато відомих людей того часу, видатні письменники, музиканти. З дітей в живих залишилися дочки і розумово неповноцінний син Михайло.
Як збирач почав з придбання художніх видань і гравюр на знаменитих "развалах" у Сухарева вежі. У 1854 він купив там перші десять картин, полотна старих голландців. Однак уже через два роки набуває дві жанрові картини російської школи - "Спокуса" Н. Г. Шильдера і "Фінляндські контрабандисти" В. Г. Худякова, які і лягли в основу видатного зборів.
Не задовольняючись володінням приватною колекцією, Павло Михайлович хотів створити національну художню галерею.
Програма створення національної галереї була сформульована Третьяковим в заповідальному листі в 1860. Згідно з цим документом, він заповів свій основний капітал на пристрій "художнього музеума". Поставленої одного разу мети Третьяков залишився вірним усе життя.
У збори П.М. Третьякова надходили в першу чергу твори його сучасників. Свої придбання він робив на виставках і безпосередньо в майстернях художників і цим створив новий тип колекціонера, який давав важливу матеріальну підтримку сучасним художникам. Його особисті художні смаки зробили чималий вплив на російську художню школу.
Галерея поповнювалася не тільки окремими творами, але цілими зборами. Так, в 1874 Третьяков придбав у Верещагіна 144 картини і етюди, потім 127 малюнків олівцем. Серію творів цього художника він придбав і на аукціоні, що проходив в 1880. П.М. Третьякову вдалося зібрати цілу галерею етюдів А. А. Іванова, в яку входило понад вісімдесят творів славетного майстра. У 1885 він придбав у В. Д. Полєнова 102 етюду, виконаних під час подорожі по Туреччині, Єгипту, Сирії та Палестині. У В. М. Васнецова Павло Михайлович купив збори ескізів, зроблених в період роботи над розписами київського собору св. Володимира.
Найбільш повно і кращими роботами в зборах Третьякова були представлені В. Г. Перов, І. М. Крамськой, І. Є. Рєпін, В. І. Суриков, І. І. Левітан, В. А. Сєров.
Пізніше Павло Михайлович став набувати картини російських майстрів 18-першої половини 19 століть і пам'ятки давньоруської живопису.
Для задуманого Третьяковим Російського пантеону - портретної галереї знаменитих співвітчизників - спеціально був замовлений ряд портретів діячів вітчизняної культури провідним майстрам - Н. В. Неврева, Н. Н. Ге, В. Г. Перова, І. М. Крамського, І. Е. Рєпіна та ін.
У 1890-ті роки у Третьякова починає складатися збори давньоруського живопису. Перше велике придбання ікон він зробив на виставці російської старовини при Восьмому археологічному з'їзді в Москві. Цінні твори були їм куплені, зокрема, у відомого збирача-антиквара І. Л. Силіна. Однак за життя власника ікони не включалися в експозицію, вони висіли в його кабінеті. В цілому Третьяков придбав 62 ікони.
Тоді ж, в 1890-і роки, було покладено початок колекції російської скульптури.
Ще в 1851 Третьяков оселився в Лаврушинському провулку. Тут, в невеликому двоповерховому особняку, і виникла галерея. Перші картини розміщувалися в кабінеті власника на першому поверсі. Надалі, у міру зростання зборів, вони стали прикрашати стіни їдальні, вітальні, спальні, дитячих кімнат, сходові прольоти.
Все нові й нові надходження спонукали власника в 1872-1874 рр. зробити до особняка спеціальну прибудову. У 1882 за нею пішла друга, в 1885 - третя, в 1892 - четверта.
На перших порах відвідувачів в музеї було небагато. Втім, так тривало недовго: в 1885 р в залах галереї побувало вже близько тридцяти тисяч чоловік.
У 1892 р помер молодший брат Третьякова, Сергій Михайлович. Він теж був колекціонером; збирав твори західноєвропейського живопису. У своєму заповіті С.М. Третьяков передавав все права на колекції братові. Так в Третьяковській галереї з'явилося два зали західної школи.
За значущістю свого зібрання галерея встала в один ряд з найбільшими музеями Росії того часу, ставши однією з головних визначних пам'яток Москви. Побувати в ній вважали обов'язковим не тільки російські люди, а й багато іноземців, від государів і принців до простих мандрівників, які розносили славу про музеї по всій Європі.
Передавши галерею рідному місту, зробивши її надбанням всієї Росії, Павло Михайлович, як і раніше продовжував поповнювати її збори. Щорічно він дарував галереї десятки картин, малюнків, етюдів.
Чимало часу і сил віддавав Третьяков вивченню колекції створеної ним галереї. Результатом цієї роботи стали каталоги, що видавалися з 1893.
Похований П. М. Третьяков був на Даниловському кладовищі. У 1948 його прах перенесли на Новодівочий цвинтар.