Mardani menjabat sebagai anggota DPR-RI pada dua periode, meskipun hasil pemilu legislatif 2009 dan 2014 tidak mengantarkannya ke DPR. Pada tahun 2011, ia menggantikan Arifinto yang mengundurkan diri, dan pada 2017, ia mengisi kursi yang ditinggalkan Sa'duddin.
Pada pemilu legislatif 2019, Mardani yang juga menggagas gerakan #2019GantiPresiden berhasil masuk parlemen melalui daerah pemilihan DKI 1 (Jakarta Timur) dengan perolehan suara 155.285.
Kontribusi dan Kepemimpinan
Dalam internal PKS, Mardani dikenal karena disiplin dan ketaatannya terhadap hukum dan aturan. Menjelang pemilihan umum Gubernur DKI Jakarta 2017, PKS sempat mendeklarasikan Mardani sebagai bakal calon untuk dipasangkan dengan Sandiaga Uno.
Meskipun akhirnya pasangan Anies Baswedan dan Sandiaga Uno yang diusung, Mardani memimpin tim pemenangan dengan sukses, menunjukkan kebesaran hati dan kecerdasannya dalam strategi politik.