Gençliğinde komünist gençlik derneklerinin üyesi oldu. Bu, ileride Komünist Partisine üye olmak için ilk adımını teşkil etmekteydi. 1931'de partiye katıldı ve yerel teşkilatta sekreterlik görevini aldı. İkinci Dünya Savaşına katılmayan pek az idareciden biridir. Savaş yıllarında Moskova'daki Parti Yüksek Okulunda öğrenim gördü ve 1953'te öğretmen okulundan mezun oldu. Mesleki hayatının en önemli devresi, 1948'de Romanya'da Sovyet modeli komünizmi kurma kampanyasında bulunması ve kampanyada kışkırtma ve propaganda şefi görevini yürütmesidir. Daha sonra bu kampanyanın başına tayin edilen Leonid Brejnev'le ilk tanışmaları buradan gelmektedir. 1964'te Nikita Kruşçev'in görevden alınmasıyla başa geçen Brejnev, Çernenko'yu Parti Merkez Komitesine üye yaptı. 1971'de buraya tam üye olduğu gibi daha üst teşkilat olan Politbüro'ya da üye seçildi.
Partinin ideolojik meselelerinde söz sahibi olmak için gayret sarf eden Çernenko, 1982'den sonra Komünist dergilerde Sovyetlerin genel siyaseti üzerine yazılar yazdı. Konuşma kabiliyeti olmamasına rağmen, Brejnev'e sadakati, görevlerini devam ettirmesine sebeb oldu. Çeşitli vesilelerle batıya seyahatler yaptı. Brejnev'in kendisine Benim not defterim! diye hitap ettiği meşhurdur. Brejnev'in yerine Yuri Andropov'un seçilmesinden sonra kendisinin görevden alınacağı ve Sovyet usulü kayıplara karışacağı beklenirken, Andropov'un güvenini kazandı. Andropov'un 1984'te ölümü üzerine Komünist Partisi genel sekreterliğine getirildi.
Bürokrasiyi azaltmaya çalışan Andropov'un aksine eski kuşak devlet görevlilerinin bir temsilcisidir. ABD-Sovyetler Birliği ilişkilerinde çok katı bir tutum takib etti. Hastalığı esnasında, bu göreve bir geçiş dönemi için getirildiği dedikoduları yayıldı. Devlet idaresinde ayrıntılara vakıf değildi. Bu zaafı sebebiyle Politbüro'da çok etkili olamadı. Dış işleri eski bakanı Gromiko'nun gölgesinde kaldı. Şimdiye kadar seçilen en yaşlı Sovyet idrarecisidir. 1985'te öldü. Yerine Mihail Gorbaçov seçildi.