香积山因建有香积寺而得名。相传唐时香火极旺，与麦积山瑞应寺交相呼应，晨钟暮鼓此起彼伏，佛事鼎盛。明胡缵宗《与麦积山上人》诗中咏道：“南有香积寺，北有麦积山。山人拾瑶草，白云相与还”。香积山半腰处有一天然溶洞，名玉祥洞，洞内曲曲折折，或豁或幽，乳石悬垂，渗水湿人颈项，深不可测，显得神秘异常。香积山上还有一处古刹，名曰“香积山古刹”，气势恢宏。