Sultan İkinci Abdülhamid Hanın dikkatini çekip takdirini kazanan Cevad Paşa, dönüşünden sonra İstanbul’da Teftiş-i Askeri Komisyonu azalığına getirildi. Girit’teki karışıklıklar üzerine Girit fevkalade kumandanlık ve vali vekilliğine tayin edildi. Adadaki Müslüman ve Hıristiyan ahaliye iyi idaresi ile kendini sevdirerek aralarında bir anlaşma ve ahenk tesis eden Cevad Paşaya hizmetine karşılık 40 yaşında müşirliğe (orgenerallik) yükseltildi. Cevad Paşanın değerini takdir eden Sultan İkinci Abdülhamid Han, onu sadrazamlığa getirdi (1891).
Cevad Paşa, 3 seneyi geçen sadareti esnasında takip ettiği siyaseti, dahilde ve hariçte sulhun muhafazası idi. Zamanının en mühim ve müzmin meselesi, hala bugün ehemmiyeti devam ettirilmek istenen Ermeni meselesi olmuştu. Cevad Paşa, meselenin en ince teferruatına vakıf ve memleketin menfaatlerini müdrik bir devlet adamı sıfatıyla, sert, fakat adilane kararlar aldı. Üç sene sonra sadrazamlıktan alınarak Nişantaşı’ndaki evinde ikamete mecbur edilen Cevad Paşa, bu sıralarda Girit’te yeniden karışıklıkların çıkması üzerine Girit Fırka-i Askeriye kumandanlığına tayin edilerek 1897’de Girit’e gönderildi.
Girit’in Avrupa devletleri tarafından hususi bir şekilde idare edileceği anlaşılıp, Almanya İmparatorunun Suriye taraflarına seyahat yapması kesinleşince, Cevad Paşa mihmandarlığa getirildi. Ancak imparatorla görüşmesinden sonra karargahı Şam’da bulunan Beşinci Ordu Kumandanlığına tayin edildi. Burada rahatsızlanan Cevad Paşa, doktorların verdiği rapor sayesinde İstanbul’a geldi ve 1900’de vefat etti. Merhum, Fatih civarında Emir Ahmed Buhari hazretlerinin türbesi karşısında inşa olunan hususi bir türbede medfundur.
Cevad Paşa, münevver, bilgili ve dürüst bir devlet adamıydı. Arapça, Farsça, Fransızca bilip, Rumca ve İtalyanca’ya da vakıftı. Türkçe'de emsali bulunmayan 10 ciltlik Tarih-i Askeri adlı eseri çok değerlidir. Eserde İmparatorlukta eskiden beri mevcut muhtelif askeri teşekkül ve müesseseler, 1826 yılına kadarki meşhur harpler hakkında malumat (bilgi) verilmektedir. Yalnız Yeniçerilere ait olan birinci cildi basılmıştır. Ayrıca kıyafetleri ve o devrin silah ve teçhizatını gösterir bir de albümü vardır ki, Paris’te basılmıştır. Bunlardan başka Riyaziyenin Mebahis-i Dakikası, Kimyanın Sanayie Tatbiki, Sema ve Telefon gibi fenni eserleri de mevcuttur. Ancak 24 nüshası basılan Yadigar adlı bir de mecmua çıkarmıştır. Sadrazamken Babıali bahçesinde yaptırdığı kütüphane bugün de Cevad Paşa Kütüphanesi adı ile anılmakta olup,Başbakanlık Osmanlı Arşivinin bir deposudur. Beş bin ciltlik kütüphanesini İstanbul Arkeoloji Müzesine bağışlamıştır.