Di usianya yang masih muda, ia sudah menunjukkan bakat kepemimpinan yang membuatnya dilirik oleh militer. Pada tahun 1959, ia mengikuti pelatihan di Sekolah Calon Perwira (Secapa) di Yogyakarta, sebuah langkah yang menjadi awal dari karier cemerlangnya di dunia militer dan pemerintahan.
Pasca peristiwa G 30 S yang mengguncang Indonesia tahun 1965, karier Moerdiono semakin bersinar. Ia bergabung dengan tim Letnan Kolonel Sudharmono di Penguasa Perang Tertinggi (Peperti) dan berperan dalam pembuatan SK pembubaran PKI.
Peran ini menjadikannya sosok penting di balik layar yang mendukung Angkatan Darat dalam menumpas gerakan komunis di Indonesia.
Pada tahun 1972, Moerdiono dipercaya untuk menjabat sebagai Sekretaris Presiden dalam Kabinet Ampera. Kepercayaan ini terus berlanjut hingga ia diberi tanggung jawab lebih besar sebagai Menteri Muda Sekretaris Kabinet periode 1983-1988.
Kariernya mencapai puncak ketika ia diangkat sebagai Menteri Sekretaris Negara untuk dua periode, yaitu 1988-1993 dan 1993-1998, menjadikannya salah satu figur paling berpengaruh di era Orde Baru.
Moerdiono dikenal luas dengan kemampuan public speaking yang luar biasa, sering kali mendampingi Presiden Soeharto dalam berbagai acara kenegaraan dan pidato penting.
Namun, setelah Presiden Soeharto lengser pada 1998, karier Moerdiono perlahan meredup meski ia masih tetap muncul di media nasional. Pada 2009, kesehatannya mulai menurun hingga akhirnya ia menghembuskan nafas terakhirnya pada 7 Oktober 2011 di Singapura.