Hacia el año 600 A. C., Nabucodonosor II, rey de los caldeos, quiso hacer a su esposa Amytis, hija del rey de los medos, un regalo que demostrara su amor por ella y le recordara las hermosas montañas de su florida tierra, tan diferentes de las grandes llanuras de Babilonia. Con la posible decadencia de Babilonia y el fin del Imperio neobabilónico, los jardines fueron abandonados progresivamente. Cuando Alejandro Magno llegó a la ciudad en el siglo IV a.C., los jardines ya estaban parcialmente en ruinas y totalmente abandonados. Finalmente los jardines fueron destruidos por el rey Evemero en el año 125 a.C.
Los jardines estaban junto al palacio del Rey, contiguo al río, para que los viajeros los pudieran contemplar ya que el acceso estaba prohibido al pueblo. Desde la más alta de las terrazas se situaba un depósito de agua desde el cual corrían varios arroyos.
Los Jardines Colgantes de Babilonia no "colgaban" realmente en el sentido de estar suspendidos por cables o cuerdas. El nombre proviene de una traducción correcta de la palabra griega kremastos o del término en latín pensilis, que significa no justamente "colgar" pero si "sobresalir", como en el caso de una terraza o de un balcón.