Setelah mendapatkan permintaan tersebut, Umar bin Khattab pun segera meninggalkan Madinah dan pergi sendirian menuju Yerusalem dengan satu keledai dan satu asisten. Setibanya di Yerusalem, Umar bin Khattab langsung disambut Sophronius dan diajak berkeliling kota, termasuk Gereja Makam Suci.
Ketika waktu salat tiba, Sophronius mengajak Umar bin Khattab untuk salat di dalam gereja. Namun, pemimpin Islam tersebut menolak. Umar bin Khattab bersikeras bahwa jika ia salat di gereja, umat Islam akan menggunakannya sebagai alasan untuk mengubah gereja menjadi masjid. Artinya, tindakan ini bisa membuat situs suci umat Kristen terampas.
Sebagai gantinya, Umar bin Khattab akhirnya salat di luar Gereja, yakni lokasi yang berada di sisi selatan kompleks Al-Aqsa. Di tempat itulah Masjid Al-Aqsa dibangun.
Pada awalnya, Masjid Al-Aqsa diberi nama Al-Qibli yang berarti Masjid Kiblat. Nama tersebut sesuai dengan kondisi Masjid Al-Aqsa yang pernah menjadi arah kiblat pertama bagi umat Islam di seluruh dunia sebelum bergeser ke Mekkah.
Setelah berdiri tegak, Masjid Al Aqsa mengalami serangkaian renovasi dan perluasan sepanjang sejarahnya. Pada 661-750 SM, Dinasti Umayyah memperbaiki bangunan ini, kemudian dilanjutkan Khalifah Abassiyah, Dinasti Fatimiyyah, Dinasti Ayyubi, dan Kekaisaran Ottoman.
Meskipun telah melalui berbagai renovasi dan pembangunan, masjid ini berdiri di kompleks Al-Aqsa. Selain Masjid Al-Aqsa, di area ini juga terdapat Dome of The Rock dan Tembok Ratapan.
Dome of the Rock atau Baitul Maqdis adalah tempat yang menjadi pijakan Nabi Muhammad saat Isra Mi’raj atau perjalanan menuju langit ke tujuh alias Sidratul Muntaha, sementara itu Tembok Ratapan diyakini umat Yahudi sebagai satu-satunya kuil kedua yang bertahan usai dihancurkan Romawi.
