Қасиетті Қағбаның тарихы туралы ақпарат табылмады, бірақ мұсылмандық аңыздар бойынша, ол Адам пайғамбарының (с.ғ.с.) өмірінде тұрғызылған. Қағба жер бетіндегі ең алғашқы құлшылық орны болғаны туралы бірнеше деректердің көмегімен расталған. Алла Тағаланың өздеріне белгілеп көрсеткен жерінен Қағба құрылуын бастап та кетті. Екеуі өзара ойласып, Исмайыл әкесінің аяғының астына текпешек, саты тәріздес ұзынша, биік тас әкеліп