Pada hari ini, rata-rata umat Islam terutama di Malaysia beranggapan bahawa Masjid Al-Aqsa merupakan nama bagi sebuah masjid yang terletak dalam kawasan tanah suci itu. Satu lagi salah tanggapan masyarakat Islam khususnya di Malaysia ialah Masjid Al-Aqsa ialah bangunan Kubah As-Sakhrah yang mempunyai struktur berwarna paling terang dalam kawasan ini.

Hakikatnya istilah Masjid Al-Aqsa yang digunakan oleh umat Islam sebelum zaman Empayar Uthmaniyah merujuk kepada satu kawasan berukuran kira-kira 14.8 hektar yang lebih luas daripada kawasan yang dilabelkan pada hari ini. Masjid Al-Aqsa merujuk kepada keseluruhan kawasan tanah tinggi yang dianggap suci oleh masyarakat ahli kitab sebelum Islam. Antara pemerintah kerajaan Rom tahun Sebelum Masihi yang telah memelihara kawasan ini ialah seperti Raja Herod dan Maharaja Justinian.

Masjid Al-Aqsa mula disebut dalam sejarah Islam sejak terjadinya peristiwa Israk dan Mikraj. Selepas peristiwa tersebut, ia juga ditentukan sebagai kiblat bagi ibadah solat setelah difardukan oleh Allah SWT kepada umat Islam pada tahun sekitar tahun 621 Masihi. Masjid Al-Aqsa juga merupakan kawasan ketiga paling suci dalam Islam.

Kawasan ini mula dikenali dan dipanggil sebagai Haram as-Syarif sewaktu zaman pemerintahan Empayar Uthmaniyah. Sejak itu nama Masjid Al-Aqsa hanya dirujuk kepada bangunan masjid berkubah warna perak yang terletak di bahagian selatan dalam kawasan besar Haram as-Syarif. Secara keseluruhannya, Masjid Al-Aqsa mempunyai beberapa ciri penting seperti bangunan Kubah As-Sakhrah, bangunan masjid yang mempunyai kubah berwarna perak yang dipanggil sebagai Masjid Al-Aqsa pada hari ini, tembok batu yang memagari kawasan itu, empat buah menara dan 17 pintu masuk. Nama menara Masjid Al-Aqsa ialah Ghawanima, Silsila, Fakhriyya dan Al-Asbat.

Bangunan pertama yang didirikan dalam kawasan Masjid Al-Aqsa oleh pemerintah Islam dikatakan dibina oleh khalifah kedua Islam iaitu Khalifah Umar al-Khattab r.a. Khalifah Umar direkodkan membina sebuah bangunan masjid daripada kayu yang terletak di sebelah selatan kawasan itu. Ia boleh memuatkan lebih kurang 3,000 orang di dalamnya. Selepas beliau, bangunan itu dibina semula dan dibesarkan oleh beberapa pemerintah daripada pelbagai dinasti Islam antaranya seperti dinasti Ummayyah, Abbasiyah, Fatimiyah dan Uthmaniyah.

Masjid Al-Aqsa sewaktu jatuh ke tangan tentera Salib pada sekitar abad ke-11 Masihi telah dijadikan istana bagi pemerintah Jerusalem yang dikenali sebagai Baldwin. Kawasan Kubah as-Sakhrah pada waktu itu diberikan nama sebagai Temple of Solomon atau Rumah Ibadah Sulaiman.

Dalam Islam, Nabi Sulaiman a.s. merupakan antara 25 orang nabi dan rasul yang wajib umat Islam percayai. Kawasan ini menjadi pusat pentadbiran tentera Salib sebelum ia dikuasai oleh seorang tokoh Islam yang digeruni pada waktu itu iaitu Salahudin Al-Ayyubi. Salahudin mengambil semula kawasan Masjid Al-Aqsa daripada tentera Salib pada abad ke-12 Masihi dan semenjak dari peristiwa itu kawasan ini kekal dalam pentadbiran Islam sehingga tahun 1967, di mana kawasan ini dicerobohi dan dirampas oleh tentera Israel sehingga ke hari ini.