1890年由湖广总督张之洞主持在湖北龟山下动工兴建，1893年9月建成投产。全厂包括生铁厂、贝色麻钢厂、西门士钢厂、钢轨厂、铁货厂、熟铁厂等6个大厂和机器厂、铸铁厂、打铁厂、造鱼片钩钉厂等4个小厂。创办经费最初定为246万余两 ，1892年清政府增拨42万两，到建成时，实际支出500万两左右。因计划不周，所购设备不适于炼制大冶铁矿提供的含磷较高的矿砂，所炼钢料不符合铁路钢轨的要求，钢铁生产陷入困境。

1896年4月该厂改为官督商办企业。为解决材料和设备问题，1898年开发江西萍乡煤矿，用马丁炉改造全厂冶炼设备，以制造钢轨。由于此项改造耗资巨大，1898年向德国资本求贷，1899年与日本签订"煤焦铁矿石互售合同"。

1904年又以大冶矿山作抵，不断向日本资本借贷。至辛亥革命前，有炼铁炉3座，炼钢炉6座，约年产生铁8万吨，钢近4万吨，钢轨2万余吨 。抗日战争时期 ，汉阳铁厂部分冶炼设备内迁重庆，其余被日军侵占。抗战胜利后，国民党政府接收，作为敌伪产业清理结束。

汉阳铁厂遗址在现今武汉市汉阳区琴台大道，现为武汉钢铁集团汉阳钢厂。