Lalu, pada tahun 2004, Fahmi sempat dipecat dari keanggotaan Golkar karena menentang hasil Rapat Pimpinan Partai yang mendukung Megawati-Hasyim Muzadi sebagai calon presiden dan wakil presiden.
Saat itu, Fahmi justru mendukung pasangan Susilo Bambang Yudhoyono-Jusuf Kalla. Usai pasangan ini terpilih, Fahmi kembali ditunjuk sebagai Menteri Tenaga Kerja, sebelum akhirnya diubah menjadi Menteri Perindustrian.
Namanya kemudian direhabilitasi, dan ketua umum Jusuf Kalla menariknya kembali untuk masuk partai. Tak hanya itu, sebelum menghembuskan nafas terakhir, ia juga menjabat Anggota Dewan Penasehat Partai Golkar.
Kontributor : Xandra Junia Indriasti