По батьківській лінії предки Сергія Панова - корінні жителі Рязані. Дід служив міліціонером, начальником одного з районних відділень. Дід Панова по материнській лінії був мельником в одному з сіл Курської області і главою великий, багатодітній сім'ї. Під час Великої Вітчизняної війни його розстріляли німці за допомогу партизанам.
С. Панов - баскетболіст в другому поколінні. Батько капітана ЦСКА починав свою кар'єру як волейболіст, проте в армії його в наказовому порядку перевели в баскетбол. Кілька років він виступав за збірну Азербайджанського військового округу, так як служив в Баку. Потім пішов в Смоленський інститут фізичної культури і спорту, закінчивши який отримав спеціальність «баскетбольний тренер».
Природно, що у єдиного сина баскетбольного тренера була одна дорога - в спортивну школу, благо у самого Сергія спорт лідирував серед інших захоплень. Секція легкої атлетики, де особливо приваблювали стрибки в висоту, катання на ковзанах, хокей, футбол на шкільному стадіоні - все це займало вільний час Панова, але при цьому баскетбол все одно залишався на першому місці. Маленька майданчик біля будинку довгий час була місцем проведення серйозних уявних турнірів: найчастіше Олімпійських ігор, рідше, так як не було гідних суперників, - чемпіонатів світу. Природно, що перемога в цих віртуальних поєдинках найчастіше діставалася команді СРСР і її лідеру Сергію Панову.
У той час в Рязані були 4 спортивні школи. У 8 років Сергій виявився в одній з них - «Хвилі», що належала приладового заводу. Спочатку найбільше його приваблював сам процес гри, а трохи пізніше прийшло бажання перемагати будь-що-будь. Після першої поразки від хлопців з такою ж баскетбольної групи, але іншої школи Панов по-справжньому плакав, був чи не в розпачі. Але батько вчасно підтримав, попросив сина почекати пару років, набратися терпіння. І дійсно, через зовсім нетривалий час в матчі з тими ж хлопцями команда Панова взяла більш ніж переконливий реванш.
З тих хлопчаків, що займалися в одній групі з Сергієм, ніхто більше не став професійним спортсменом. Але і самому Панову, перш ніж отримати цей статус, потрібно було пройти ще кілька ступенів. У 14 років він переїхав до Ленінграда. Місцевий спортивний інтернат в той час володів кращими можливостями для підготовки баскетболістів. У новому колективі заводієм були Євген Пашутін, який став згодом на довгі роки суперником і партнером Сергія в великому баскетболі, і його друзі. Батьки відпустили сина-підлітка в самостійне життя порівняно легко. Батько просто відвіз його в інтернат, мати ж до кінця не вірила, що Сергій залишиться в Пітері. Панов нудьгував по батьках, однак спортивний інтерес виявився вище ностальгії: хотілося дивитися тільки вперед. До речі, саме там, в інтернаті, вперше прийшло розуміння того, що баскетбол - це не тільки задоволення, але і робота, спосіб заробити на життя.
Незважаючи на цілеспрямованість і відмінні дані, Панов ніколи не грав за юнацькі збірні. Зараз форвард, який провів 100 з гаком матчів за національну команду Росії, пояснює це тим, що як гравець склався пізніше однолітків, так що було складно грати проти хлопців, які хоч трохи старше.
Потрапити безпосередньо після закінчення інтернату до складу дорослого «Спартака» з його багаторічними традиціями і амбіціями в кінці 1980-х років було неймовірно складно. Тому в 16 років Панову довелося прийняти перше самостійне рішення з приводу своєї спортивної кар'єри. На два роки Сергій поїхав до Череповця. У стартовій п'ятірці команди «Шексна» цього провінційного міста було чотири 30-річних гравця і зовсім юний Панов. Перебування в Череповці стало хорошим стартовим майданчиком і школою для Сергія. На відміну від інтернату, де за ним доглядали - забезпечували харчуванням, стежили за дотриманням розпорядку дня і так далі, тут все потрібно було робити самому.
Адаптувавшись в самостійному житті, Панов повернувся в Санкт-Петербург. На цей раз його запросив сам Кондрашин, який уважно стежив за виступами випускника пітерського інтернату. Сергій погодився повернутися в місто на Неві не роздумуючи, настільки хотілося пограти в команді знаменитого тренера - вихователя цілої плеяди блискучих майстрів, в тому числі легендарного Олександра Бєлова. Нехай спочатку Панов не грав ключову роль в «Спартаку», але Кондрашин довіряв форварду час, що для молодого гравця було вельми і вельми цінно. Крім того, наставник давав молоді дуже багато в плані розуміння гри. Ті знання, які зараз юні баскетболісти в основному отримують від тренерів-іноземців, Панову і його товаришам по команді пояснювали по-російськи.
У перший же рік перебування Панова в «Спартаку» клуб вийшов у фінал чемпіонату СРСР, а потім виграв єдине в історії першість СНД і зайняв 2-е місце в чемпіонаті Росії. Потім був дебют на Олімпіаді в Барселоні в складі збірної СНД.
Невідомо, як би склалася подальша кар'єра Панова, якби турецький «Ілдирімспор» проіснував трохи довше. Однак в міжсезоння-94 клуб розвалився, а Панову надійшла пропозиція від ЦСКА, яким керував Станіслав Єрьомін. Молода, амбіційна команда зі знаменитим брендом повинна була брати участь в найпрестижнішому європейському турнірі - Кубку європейських чемпіонів. Можливість пограти на найвищому рівні привернула Панова, та й життя в Росії почало налагоджуватися.
У цього кроку було кілька причин. Фінансова - нові власники ЦСКА забезпечили клуб достатньо коштів, але ще не встигли звикнути до специфіки керівництва спортивним клубом і тому намагалися говорити з баскетболістами виключно мовою цифр. «До того моменту, коли у мене закінчився черговий контракт, клуб був винен мені дві зарплати. Коли я прийшов до керівництва, мені сказали, що заплатять тільки після того, як я поставлю підпис під новою угодою », - розповідає Панов. Однак шантаж не вдався, гравець пішов на принцип. Була і чисто спортивна причина. Амбіції згодом нікуди не поділися, а в ЦСКА вже не було належного простору для їх задоволення. Для того щоб досягти в Європі чогось істотного, потрібно перейти на якісно новий рівень. Відповідь на питання, який саме, дати було досить складно - по-справжньому гроші і управлінські схеми на той момент в російський спорт ще не прийшли. А чемпіонства в Росії за замовчуванням вже кілька приїлися.
Спочатку Панов хотів поїхати на Захід. Але виявилося, що відразу потрапити в клуб високого рівня з російської першості практично неможливо. Єдина пропозиція від команди Євроліги - від грецького АЕК - надійшло в той момент, коли контракт форварда ще діяв, і на момент описуваних подій втратило свою актуальність. Втрачати час на те, щоб доводити свою спроможність в клубі, ледь вийшов у вищу лігу чемпіонату Греції або Туреччині, а тільки потім перебратися в команду рангом вище, Панов не захотів. Втім, їхати в Перм він теж погодився не відразу. Перше речення від «Урал-Грейта» розуміння у гравця збірної Росії не зустріло. Навіть відповідати толком не став. Але через деякий час Панов сам подзвонив генеральному директору клубу С. Кущенко і запропонував почати переговори. Потрібно було будь-що-будь довести керівництву ЦСКА, що для спортсмена мотивація іноді буває важливіше грошей, контрактних хитрощів і інших звершень поза майданчиком. А зробити це краще за все було, вигравши чемпіонат Росії разом з іншою командою, «Урал-Грейтом». Про це бажання Панов чесно розповів тодішньому начальнику ЦСКА Михайлу Маміашвілі в присутності президента баскетбольного клубу Олександра Яковича Гомельського. «На мене подивилися як на ідіота, - призна? Ться гравець. - Сказали, що це неможливо. Я відповів, що готовий довести. І тоді Мамиашвили підписав-таки наказ про моє звільнення ».
Два сезони в «Урал-Грійте» - два чемпіонства в першості Росії. Щирі відносини з керівництвом клубу, любов уболівальників, особлива атмосфера в залі, яка допомагає своїм, але заважає противникам ... Але ... «Ми хоч і обігравали ЦСКА, і начебто були раді, що там все розвалюється, але насправді було прикро за державу. Армійський клуб був національним надбанням протягом 75 років і буде ще стільки ж. І я, і Сергій Кущенко це розуміли. Клуб треба було рятувати ». Ігровий інтерес, який, як завжди, був одним з найбільш важливих факторів при зміні обстановки, на цей раз формулювався як бажання попрацювати з одним з провідних фахівців в європейському баскетболі Душаном Івкович.
Югославський фахівець змінив в команді багато, перш за все налагодив дисципліну. Підсумком стало потрапляння ЦСКА в три «Фіналу чотирьох» поспіль. «Раніше ми грали хто як може, той так і робить. Тепер все п'ять чоловік на майданчику розуміють, що хоче зробити гравець з м'ячем. Ми можемо встигнути чи ні, зробити чи ні, але розуміння того, як треба було вчинити, присутній постійно ».
Залишається тільки додати, що в свої 35 років капітан ЦСКА Сергій Панов став першою легендою армійського клубу в новому столітті. Новий наставник клубу італієць Етторе Мессіна в одному зі своїх інтерв'ю порівняв Панова зі своїм великим співвітчизником Діно Менегіні. Напевно, домогтися чогось більш приємного від італійця невозмож але за визначенням - екс-лідер «Іньіса» залишається легендою Італії ось вже третій десяток років. Але знаючи Панова, можна сказати, що він і тут цілком може знайти мотивацію поборотися.
У вільний час любить виїзди на природу, на шашлики. Улюблені театри - «Сатирикон» і Сатири. Улюблений фільм - «Міміно».