Rudy terjun ke dunia politik dan bergabung dengan PDIP sebagai seorang kader. Ia melalui naungan partai berlogo banteng tersebut berkesempatan menjadi Wakil Wali Kota Surakarta periode 2005–2010 dan 2010–2012 mendampingi Joko Widodo alias Jokowi.
Jokowi kemudian mengundurkan diri sebagai Wali Kota Solo lantaran maju dalam Pilkada DKI Jakarta 2012 dan otomatis Rudy harus mengisi kekosongan jabatan itu.
Tak cukup memimpin kota Solo sebagai pengganti Jokowi, FX Rudy maju sebagai Wali Kota Solo pada Pilkada Serentak 2015. Rudy bersama wakilnya, Achmad Purnomo maju diusung oleh dukungan partai PDIP hingga akhirnya berhasil menggaet suara terbanyak.
Keduanya resmi dilantik sebagai pasangan Wali Kota dan Wakil Wali Kota Surakarta.
Rudy di luar dunia politik juga berkarier sebagai Ketua Umum klub sepak bola lokal Persis Solo dan Ketua Pengurus Cabang PSSI di Surakarta.
Kontributor : Armand Ilham