元顺帝至正十年（1350年）由知州王伯大到任时携黄姓阿訇所创建。
历代多有重修续建。建筑总面积570平方米，礼拜殿由前、中、后3殿组成，气势宏伟。配有讲堂、沐浴室、大门、二门，呈元末明初建筑风格。殿内原有“清真正教”、“圣教惟真”、“清真无二”等金匾高悬，后毁于“文革”时期。党的十一届三中全会后，得以修复，对外开放。2010年在马凯马阿訇的带领下大殿重新修建。寺院以大殿为主体，配以南北厢房、经学堂，自成体系，主次分明。院内遍植奇松异花，显得古朴典雅、庄严肃穆。现有教民数千人人，均系回族。学董3人，阿訇1人。邢台地区伊斯兰教协会会址设于此。