Вологодська "мала батьківщина" дала йому головну тему майбутнього творчості - "старовинну російську самобутність", стала центром його життя, "землею ... священної", де він відчував себе "і живим, і смертним".
З 1950 по 1952 майбутній поет навчався в Тотемском лісотехнічному технікумі. Потім два роки працював кочегаром в Архангельському траловому флоті тресту "Севриба" і ще два роки - різноробочим на дослідному військовому полігоні в Ленінграді.
З 1955 по 1959 проходив армійську службу на Північному флоті (у званні матроса і старшого матроса). Після демобілізації жив в Ленінграді, працюючи по черзі слюсарем, кочегаром і Шихтувальники на Кіровському заводі. Однак в душі він живе поезією, а тому вирішує змінити свою долю.
У 1962 Рубцов вступив до Літературного інституту ім. М. Горького в Москві і познайомився з В. Соколовим, С. Ю. Куняевим, В. В. Кожинова та іншими літераторами, чиє дружня участь не раз допомагало йому і в творчості, і в справах по виданню віршів. З перебуванням в інституті незабаром виникли проблеми, проте поет продовжує писати, і в середині 1960-х у нього виходять перші збірки.
У 1969 Рубцов закінчує Літературний інститут, отримує першу в своєму житті окрему однокімнатну квартиру.
Перша книга віршів "Лірика" вийшла в 1965 в Архангельську. Потім були видані поетичні збірки "Зірка полів" (1967), "Душа зберігає" (1969), "сосен шум" (1970). Готувалися до друку "Зелені квіти" з'явилися вже після смерті поета.
Поезія Рубцова, гранично проста за своєю стилістикою і тематикою, пов'язаної переважно з рідною Вологодчіной, має творчу справжністю, внутрішньої масштабністю, тонко розробленої образною структурою.
Особливою популярністю користуються пісні на його вірші "У світлиці моїй світло", "Я буду довго гнати велосипед", "В хвилини музики сумної".