Köprülü Mehmed Paşa, veziriazam olunca, Kara Mustafa’yı telhisçi (veziriazam veya vekili tarafından padişaha takdim edilmek üzere saraya gidecek evrakı götüren memur) yaptı. Erdel Seferinde Yanova Kalesinin zaptını padişaha bildirmesi üzerine, Eylül 1658’de ikinci mirahurluğa terfi etti. Bir buçuk sene sonra Silistre beylerbeyi, ardından 1661’de vezirlikle Diyarbakır valisi oldu.
Fazıl Ahmed Paşa veziriazam olunca, Kara Mustafa Paşa da Aralık 1661’de kaptanpaşalığa tayin oldu. Veziriazam Fazıl Ahmed Paşa Avusturya seferine serdar-ı ekrem tayin edilince, Nisan 1663’te kaptanpaşalık üzerinde kalmak üzere sadaret kaymakamı tayin edildi. Bu vazifeyi veziriazamın 1665’te Girit Seferi ve daha sonraki Lehistan Seferi esnasında da yürüttü. 1676’da Fazıl Ahmed Paşanın vefatı üzerine mühr-i hümayun, üçüncü vezir olan Kara Mustafa Paşaya verildi. Sadaret kaymakamı sıfatıyla hükümet işlerini uzun seneler gördüğü için işlerde bir aksaklık olmadı. Onun ideali, devleti, Kanuni devrindeki azamet ve kudretli durumuna eriştirmekti.
1678’de Rus Seferine çıkarak, Çehrin’i aldı. 1683’de Avusturya Seferine çıktı. Viyana’yı şiddetli bir muhasara altına aldı. Ancak kaleyi tam düşürmek üzereyken Kırım Hanının ihaneti neticesinde Osmanlı ordusu mağlup oldu. Viyana bozgununu fırsat sayan muarızları, Belgrad’a gelen Mustafa Paşanın 25 Aralık 1683’te idamına sebep oldular (Bkz. Viyana Kuşatması). Îdamında elli yaşlarındaydı.
Merzifonlu Kara Mustafa Paşa, zeki, iradesi sağlam, azim sahibi, işten anlar değerli bir devlet adamıydı. Tetkik edilen olaylara, gerek Türk ve gerek yabancı kaynaklara göre, Kara Mustafa Paşa otorite sahibi olup, sevk ve idare kabiliyetiyle bozgunluğu durdurup felaketi önleyecek kudretteydi. Hatta Budin valisi ihtiyar vezir İbrahim Paşa bile Mustafa Paşayla arası iyi olmamasına rağmen, onun idam edilmeyip, bu işin sonunun yine Paşa’ya bırakılmasını tavsiye ederek Mustafa Paşanın ehliyetini beyan etmiştir. Nitekim, Kara Mustafa Paşadan sonra yerine getirilen serdarların ehliyetsizlikleri, mağlubiyetlerin senelerce devamına ve düşmanın Balkanlara kadar sarkmasına sebep olmuştur.
Kara Mustafa Paşanın birçok hayır ve hasenatı vardır. İstanbul’da Galata ve Yedikule dışında birer mescidi ile Merzifon’da cami, bedesten ve sayısız çeşmeler yaptırmıştır. Çarşı kapısındaki medrese, mescid, mekteb, sebil ve medrese talebesi için olan kütüphane vefatından bir yıl sonra tamamlanmıştır. Kayseri civarında eşkıya yatağı olan İncesu denilen yeri kendisinin mülkü yazdırıp, cami, hamam, medrese yaptırdıktan sonra kırk muhafızı ile o tarafların asayişini temin etmiştir. Ölümünden sonra mülkü, padişahın hatt-ı hümayunu ile evladına ihsan olunmuştur. Paşa’nın nesli devam etmiş olup aileden birçok vezir yetişmiştir.