Dikutip dari Nu.or.id, Mbah Moen lahir di Sarang, Rembang, pada 28 Oktober 1928. Ia merupakan putra dari Kiai Zubair, Sarang, seorang alim dan faqih. Kiai Zubair adalah murid dari Syaikh Saíd al-Yamani serta Syaikh Hasan al-Yamani al-Makky.
Mbah Moen mengasuh beberapa pesantren, di antaranya Pesantren Al Anwar, Sarang, Rembang, Jawa Tengah. Ia pernah di Pesantren Lirboyo, Kediri, di bawah bimbingan Kiai Abdul Karim, Kiai Mahrus Ali, dan Kiai Marzuki. Mbah Moen melanjutkan belajar ke Mekkah saat berusia 21 tahun, didampingi kakeknya, Kiai Ahmad bin Syuáib.
Di Makkah, Kiai Maimun Zubair mengaji kepada Sayyid Alawi bin Abbas al-Maliki, Syekh al-Imam Hasan al-Masysyath, Sayyid Amin al-Quthbi, Syekh Yasin Isa al-Fadani, Syekh Abdul Qodir al-Mandaly, dan beberapa ulama lain.