Cumhuriyet`in ikinci yılında Ankara`da müzik öğretmeni yetiştirilmesi amacıyla "Musiki Muallim Mektebi" açılmasını takiben, Atatürk`ün direktifleriyle müzik ve sahne sanatlarının gelişmesi için, Milli Eğitim Bakanlığı bir konservatuvar kurmak amacıyla 1934 yılında, Berlin`de öğrenci müfettişi olan Cevat Dursunoğlu`nu görevlendirdi.
1935 yılında ünlü besteci Prof. Paul Hindemith ile anlaşma yapıldı. Bu anlaşmaya göre Hindemith, Türkiye`de müzik kurumlarının yeniden yapılandırılması işlerinde danışman olarak incelemelerde bulunup, konservatuvarın kuruluş esaslarını hazırlayarak bir rapor verecekti. Hindemith 6 Nisan 1935 yılında yurdumuza gelerek, bir yıl ara ile iki incelemede bulundu. Bu incelemeler sonucunda konservatuvarın; serbest müzik okulu (konservatuvar), öğretmen yetiştiren okul (Musiki Müallim Mektebi) ve tiyatro okulundan oluşmasına karar verdi. Bu nedenle konservatuvarın tiyatro ve opera bölümünü kurmak üzere Almanya`dan Prof. Carl Ebert getirildi.
Konservatuvar önce Musiki Muallim Mektebi içerisinde açıldı. 6-12 Mayıs 1936 tarihleri arasında öncelikle Musiki Muallim Mektebi öğrencileri sınavdan geçirilerek, kimileri tiyatro, kimileri de müzik bölümüne alındı. 1 Kasım 1936 tarihinde de öğrenime başlandı. 1938 yılında, Müzik öğretmeni yetiştirilen bölüm Gazi Eğitim Enstitüsü`ne bağlanarak konservatuvardan ayrıldı ve 1940 yılında da konservatuvar yönetmeliği kabul edilerek yürürlüğe girdi.
1982 yılına kadar Kültür ve Turizm Bakanlığı`na bağlı olarak eğiitim veren Ankara Devlet Konservatuvarı, aynı yıl Yüksek Öğrenim Kurumu kapsamına alınarak Hacettepe Üniversitesi`ne bağlanmıştır.