Masa Kekaisaran Ottoman Turki
Tahun 1957, Sultan Selim II dari Kekaisaran Ottoman menugaskan arsitek ternama Turki, Mimar Sinan untuk merenovasi Masjidil Haram. Sinan mengganti atap masjid yang rata dengan kubah lengkap dengan hiasan kaligrafi di bagian dalamnya.
Sinan juga menambah empat pilar penyangga tambahan yang disebut-sebut sebagai rintisan dari bentuk arsitektur mesjid-mesjid modern.
Pada tahun 1621 dan 1629, banjir bandang melanda Mekah dan sekitarnya, mengakibatkan kerusakan pada Masjidil Haram dan Ka'bah. Pada masa kekuasaan Sultan Murad IV tahun 1629, Ka'bah dibangun kembali dengan batu-batu dari Mekah, sedangkan Masjidil Haram juga mengalami renovasi kembali.
Pada renovasi tersebut, ditambahkan tiga menara tambahan sehingga keseluruhan menara menjadi tujuh. Marmer pelapis lantai pun diganti dengan yang baru. Sejak saat itu, arsitektur Masjidil Haram tak berubah hingga hampir tiga abad.
Era Kekuasaan Raja-raja Saudi
Renovasi besar pertama yang dilakukan di era Raja-raja Saudi berlangsung pada tahun 1955 hingga tahun 1973. Selain penambahan tiga menara, atap masjid pun diperbaiki, sementara lantai masjid diganti dengan marmer yang baru.
Pada renovasi ini, dua bukit kecil Shofa dan Marwah dibuat di dalam Masjidil Haram. Dalam renovasi ini pula, seluruh fitur yang dibangun oleh arsitek kekaisaran Ottoman, termasuk empat pilar, dirobohkan.
Renovasi kedua dilakukan ketika Arab Saudi dipimpin oleh Raja Fahd bin Abdulaziz Al Saud. Raja Fahd, pada tahun 1982 hingga 1988, membangun sebuah sayap bangunan baru dan area shalat ruang terbuka di Masjidil Haram.
Renovasi ketiga dilakukan pada tahun 1988 hingga 2005. Pada renovasi ini, dibangun beberapa menara tambahan, serta area shalat di dalam dan sekitar masjid. Sebuah kediaman untuk raja juga dibangun berhadapan dengan masjid.