1932 yılında İstanbul'da dünyaya geldi. Berklee Koleji'nde müzik eğitimi gören Mardin, Quincy Jones Bursu'nu kazandı. Kariyerine 1963 yılında Atlantic Records şirketinde Nasuhi Ertegün ile çalışarak başlayan Arif Mardin, aynı şirkete 1969 yılındada başkan yardımcısı oldu.
Ahmet Ertegün ve yapımcı Jerry Wexler ile birçok projede birlikte çalışan Arif Mardin, 2001 yılında Atlantic Records'tan ayrıldı ve kendi markası olan Manhattan/EMI Records için çalışmalara başladı.
Mardin, şarkıcı Norah Jones'u bu dönemde büyük üne kavuşturdu. 40 yılı aşkın sürelik kariyeri boyunca 40 altın ve platin albüm ödülü kazanan Mardin, 15 kez aday gösterildiği Grammy ödülünü 12 kez kazandı.
Mardin, Bee Gees, Bette Midler, Diane Ross, Aretha Franklin, Barbra Streisand, Phil Collins, Jewel, Chaka Khan ve son olarak Norah Jones gibi çok sayıda ünlü sanatçıyla çalıştı, prodüksiyon ve müzik aranjmanlarını yaptı.
Müzik alanında pek çok kez onurlandırılan Arif Mardin, müzik endüstrisine önemli katkılarından dolayı şubat 2001'de NARAS (National Recording Academy of Arts and Sciences) Yaşam Boyu Başarı Ödülü'nü de değer görüldü. 26 Haziran 2006'da kansere yenik düştü.