Константин Павлович Жуков родился 28 сентября 1906 года в местечке Городище Киевской губернии (ныне Черкасской области Украины).
После окончания в 1926 году Луганского сельскохозяйственного института работал в Луганской (Ворошиловградской) и Донецкой (Сталинской) областях агрономом, а затем заведующим сельскохозяйственными отделами.
В 1944 году перведён на партийную работу: в 1944—1946 годах — секретарь Сталинского обкома КП (б) Украины, 1946—1947 годах — инспектор управления кадров ЦК ВКП(б). В 1947 году назначен секретарём, а в 1949 году избран первым секретарём Воронежского обкома ВКП(б).
В январе 1954 года направлен во вновь образованную Липецкую область и избран первым секретарём Липецкого областного комитета КПСС, проработав на этой должности (фактически высшей в области) до ноября 1960 года.
Неоднократно избирался депутатом Верховного Совета СССР. В 1952—1956 — член ЦК КПСС, в 1956—1961 — кандидат в члены ЦК КПСС. Награждён орденами Ленина и Трудового Красного Знамени.