Peta mosaik Bizantium dari abad ke-6 M menunjukkan Rafah berada di dekat “perbatasan Mesir dan Palestina” sebelum berada di bawah kekuasaan Muslim Arab beberapa dekade kemudian. Pada akhir abad ke-10, ketika Levant bagian selatan kembali menjadi medan perang antara pasukan Mesir dan Suriah, kartografer Ibnu awqal menggambarkan Rafah berada di ujung selatan bekas distrik Abbasiyah (jund) Palestina.
Ketika Mesir yang diduduki Inggris memantapkan kemerdekaan Mesir dari kekuasaan Ottoman dan menetapkan perbatasan pada tahun 1906, wilayah tersebut melintasi Rafah, membagi dua kota tersebut. Kota ini sempat bersatu pada akhir abad ke-20 setelah pasukan Israel menduduki Jalur Gaza dan Semenanjung Sinai dalam Perang Enam Hari (1967). Namun wilayah ini terpecah lagi pada tahun 1982 ketika mereka menarik diri dari Semenanjung Sinai sebagai pemenuhan perjanjian damai Mesir-Israel tahun 1979 (lihat Perjanjian Camp David).