相传旧时山上出产青绿宝石，故而得名。传说宋代有一民女曾修炼于山。后功德圆满，骑鹤仙去，于是时人便将山南的一座小茅庵改建为白鹤观，观内香火历来由道士掌管，历代屡毁屡建，今已不存，唯留遣迹。山顶旧时尚有真武殿一座。

北宋前，城池北门建在宝积与四望山间，山上筑有城墙，“城壁峻峭，皆斩崖火之”，有“铁封云锁“之誉。元代在山上建武侯祠，通称孔明台，宝积山也被称作孔明台，明万历二十三年（1595）移至南麓，清康熙间又重建于山顶。后毁于抗日战争烽火。

宝积山分南北两峰，中间低回，远看象个马鞍，山上树木繁茂，郁郁葱葱。山东北面悬崖峭壁，十分险峻，它与宝华山南北相对。每当雨过初晴，诸峰岚烟萦绕，披霞戴雾，称为“桂岭晴岚”，为桂林八景之一。山北有宝积岩、华景洞、华景塘。华景洞附近曾建有岩光亭、铁佛寺。洞口朝北，里面是一个宽阔的洞府，据传宋代蒋卓道人曾隐居在此。他擅长诗文，医道高明，人称“诗翁”。洞深5、6丈，平坦敞朗，曲折深幽，可达孔明台。登台远望，前后左右为华景塘、桂湖、漓江、八角塘所拱，四周则观音、鹦鹉、叠彩、独秀、骝马、老人诸山环绕。唐宋时已成游赏胜地，壁间有宋明以来石刻10余件。1979年5月，在宝积岩内发现距今约3万年前人牙化石两枚、动物化石和打制石器等。宝积山不仅是旅游胜地，也是文物荟萃之地。