1922 yılında Rize`den İzmit`e göç eden eski Karamürsel Müftüsü Ali Efendi`nin oğludur. İlkokulu 1967`de İzmit`te bitirdi. 1973 yılında İzmit İmam-Hatip Lisesi`nden mezun olduktan sonra, Derince Lisesi`ni de dışardan bitirdi.
1974 yılında MSP-CHP koalisyonunda, Adalet Bakanlığı Özel kalemi olarak görev yaptı. Şevki Yılmaz, İstanbul Yüksek İslam Enstitüsü`nden 1980 yılında mezun oldu. Fakülte yıllarında Kartal Müftülüğünde Murakıp olarak memuriyet hayatına devam etti. 1982 yılında Avrupa Milli Görüş Teşkilatları Avusturya Bölge Başkanlığı görevine getirildi. Daha sonra 1984 yılında, Avrupa Milli Görüş Teşkilatları`nda 10 yıl sürecek olan tanıtmadan sorumlu genel başkan yardımcılığı görevini yürüttü.
İlk defa, siyasete resmi olarak 1987 yılında adım attı. Seçtiği il, ana-baba ocağı olan Rize oldu. Katıldığı milletvekili seçimlerinde ikinci sıradan aday gösterildi. %14.2 oy almasına rağmen kazanamadı. Şevki Yılmaz, Rize`de "Ya ben Rize`yi, ya Rize beni alır" parolasıyla çalışmalarına devam etti. 1989 yılında belediye seçimlerinde tekrar aday gösterildi. RP bu seçimde ikinci parti oldu.
1991 yılında yapılan milletvekilliği seçimlerinde, Rize`den tekrar aday gösterildi ve % 19,8 oranında oy aldı. 1995 Milletvekili seçimlerinde, tekrar Rize`den milletvekili adayı oldu. 1996 yılında kurulan Refahyol Hükümetinin ekonomideki önemli birkaç adımından sonra, "28 Şubat Kararları süreci" başladı.