Setelah itu, kegigihan Mahyeldi mengantarkannya meraih gelar Sarjana Pertanian dari program studi Pembangunan Pedesaan Fakultas Pertanian Universitas Andalas (Unand).
Selama berkuliah di Unand, Mahyeldi aktif di berbagai organisasi kemahasiswaan. Setelah lulus dari Unand, Mahyeldi mengikuti berbagai kegiatan Keislaman dan menjadi seorang mubaligh.
Sampai pada akhirnya Mahyeldi bergabung ke Partai Keadilan Sosial (PKS). Lantas, dia maju menjadi Caleg DPRD Sumbar tahun 2004. Dia keluar sebagai caleg terpilih dengan perolehan suara tertinggi untuk periode 2004-2009.
Karier politik Mahyeldi terbilang moncer. Pada Pilkada 2009, Mahyeldi dicalonkan PKS sebagai calon Wakil Wali Kota Padang mendampingi Fauzi Bahar hingga akhirnya dia jadi Wakil Wali Kota Padang periode 2009-2014.
Setelahnya, Mahyeldi kembali terpilih dan jadi Wali Kota Padang periode 2013-2018 berpasangan dengan Emzalmi. Setelah itu, ia maju dengan Hendri Septa hingga kembali terpilih jadi Wali Padang periode 2019-2024.
Tahun 2021, Mahyeldi mundur jadi Wali Kota Padang dan digantikan Hendri Septa yang sebelumnya menjabat sebagai Wakil Wali Kota Padang. Mahyeldi mundur lantaran terpilih jadi Gubernur Sumbar periode 2021-2024 berpasangan dengan Audy Joinaldy.
Kini, menuju Pilgub Sumbar 2024, Mahyeldi kembali akan bertarung menjadi orang nomor 1 di Sumbar. Ia berpasangan dengan Vasco. Sedangkan Audy Joinaldy belum memutuskan ikut atau tidak dalam kontestasi Pilkada Sumbar 2024.