Bingöl doğumlu ve 1967 yılında hayata gözlerini açan Cumhurbaşkanı Yardımcısı, ODTÜ Kamu Yönetimi Bölümü'nden birincilikle mezun oldu. Yüksek lisansını ABD Denver Üniversitesi Uluslararası İlişkiler Bölümü'nde tamamlayan Yılmaz, doktorasını ise Bilkent Üniversitesi Siyaset Bilimi ve Kamu Yönetimi Bölümü'nde tamamladı.
Kariyerine Başbakanlık DPT Müsteşarlığı AB ile İlişkiler Genel Müdürlüğü göreviyle başlayan Yılmaz, Ulusal Ajans, ATAUM ve Sümer Halı'da Yönetim Kurulu üyelikleri de yapmıştır.
Politikaya adım attığı dönemlerde 23, 24, 26 ve 27. Dönemlerde Bingöl, 25. Dönemde Diyarbakır Milletvekili olarak seçilen Yılmaz, Parlamentolar arası Birlik (PAB) Türk Grubu Başkanlığı görevini üstlendi.
Siyasi kariyerinde önemli görevlere de sahip olan Yılmaz, 60. Hükûmette Devlet Bakanı, 61, 62 ve 64. Hükûmetlerde Kalkınma Bakanı, 63. Hükûmette Başbakan Yardımcısı olarak görev aldı. Aynı zamanda AK Parti Merkez Karar ve Yürütme Kurulu (MKYK) Üyesi olarak Tanıtım ve Medya, Dış İlişkiler ve Ekonomi İşlerinden Sorumlu Genel Başkan Yardımcılığı görevlerini üstlendi.
Kasım 2020-Haziran 2023 tarihleri arasında Türkiye Büyük Millet Meclisi (TBMM) Plan ve Bütçe Komisyonu Başkanlığı görevini sürdüren Yılmaz, 3 Haziran 2023 tarihi itibariyle Cumhurbaşkanı Yardımcısı olarak görev yapmaktadır.
Çok iyi düzeyde İngilizce bilen Yılmaz, evli ve 2 çocuk babasıdır. Cumhurbaşkanı Yardımcısı olarak üstlendiği sorumluluklar ve kariyeri, kamuoyu tarafından yakından takip edilmekte.