Cumhuriyet'in ikinci yılında Ankara'da müzik öğretmeni yetiştirilmesi amacıyla "Musiki Muallim Mektebi" açılmasını takiben, Atatürk'ün direktifleriyle müzik ve sahne sanatlarının gelişmesi için, Milli Eğitim Bakanlığı bir konservatuvar kurmak amacıyla 1934 yılında, Berlin'de öğrenci müfettişi olan Cevat Dursunoğlu'nu görevlendirdi.
1935 yılında ünlü besteci Prof. Paul Hindemith ile anlaşma yapıldı. Bu anlaşmaya göre Hindemith, Türkiye'de müzik kurumlarının yeniden yapılandırılması işlerinde danışman olarak incelemelerde bulunup, konservatuvarın kuruluş esaslarını hazırlayarak bir rapor verecekti. Hindemith 6 Nisan 1935 yılında yurdumuza gelerek, bir yıl ara ile iki incelemede bulundu. Bu incelemeler sonucunda konservatuvarın; serbest müzik okulu (konservatuvar), öğretmen yetiştiren okul (Musiki Müallim Mektebi) ve tiyatro okulundan oluşmasına karar verdi. Bu nedenle konservatuvarın tiyatro ve opera bölümünü kurmak üzere Almanya'dan Prof. Carl Ebert getirildi.
Konservatuvar önce Musiki Muallim Mektebi içerisinde açıldı. 6-12 Mayıs 1936 tarihleri arasında öncelikle Musiki Muallim Mektebi öğrencileri sınavdan geçirilerek, kimileri tiyatro, kimileri de müzik bölümüne alındı. 1 Kasım 1936 tarihinde de öğrenime başlandı. 1938 yılında, Müzik öğretmeni yetiştirilen bölüm Gazi Eğitim Enstitüsü'ne bağlanarak konservatuvardan ayrıldı ve 1940 yılında da konservatuvar yönetmeliği kabul edilerek yürürlüğe girdi.
1982 yılına kadar Kültür ve Turizm Bakanlığı'na bağlı olarak eğiitim veren Ankara Devlet Konservatuvarı, aynı yıl Yüksek Öğrenim Kurumu kapsamına alınarak Hacettepe Üniversitesi'ne bağlanmıştır.