1933年，淮南煤矿局和华商大通公司的煤炭生产逐步攀升，年产量达到了37万多吨，而对外运输能力却远远落后于煤炭产能的增长。为了解决制约企业发展的“瓶颈”，开辟新的大运力运输通道，两矿决策者决定修建一条从淮南直达芜湖长江岸边的铁路专用线。
  1933年12月，淮南铁路工程处成立。国民政府建设委员会委员长张静江三顾茅庐，聘请留美土木工程专家、时任交通部邮政储金汇业总局副局长的程士范担任总工程师，全权负责铁路的设计与修筑。程士范舍去个人利益，毅然辞去邮政部门的铁饭碗，立即组建了一个包括浙江大学教授钮因梁、地质测量专家胡卫中和机械制造专家陈福海在内的专家团队，着手对淮南铁路进行总体规划和前期准备工作。
  专家团队首先遇到了一个十分棘手的问题：淮南铁路能不能修？根据当时铁路权法的规定，在一条铁路左右200公里境内，不允许再造平行路线。淮南铁路与津浦铁路正好平行，又在100公里范围内，如果修建就侵犯了津浦铁路的路权，这在法律上是不允许的。
  为了寻求合法途径，张静江坚持淮南铁路不归铁道部管辖，把它列为建设委员会的工程项目。为此，张静江致电铁道部：修建淮南铁路只是为了“该矿运输独立，以谋积极发展，无其它用途”。为避免不必要的争议，在铁路名称上不用“通江铁路”，而是用“淮南煤矿专用线”代替，从而使淮南铁路的修建具备了完善的法律手续。
  1934年6月，淮南铁路正式开工。按照总体规划，淮南铁路全长215公里，分三期进行施工：第一期九合段，从淮南田家庵经九龙岗至合肥约97公里；第二期合巢段，从合肥至巢县约70公里；第三期巢江段，从巢县至长江北岸芜湖裕溪口约48公里。沿线需要建设桥梁涵洞59座、水塔泵房9座、车站20座及修理厂等。每段限期1年完成，三年全部建成通车。预算总造价850万元，平均每公里造价4万元。这与杭江铁路每公里6万元、宁芜铁路每公里5万元相比，其工程造价在当时是十分低廉而又经济。
  淮南铁路从规划设计到竣工通车，资金始终是困扰着整个修建工程的一大难题。因为建设委员会是政府管理部门，并不负责直接融资，其所属企业资金来源主要靠银行贷款或招募私股。程士范利用其在交通部邮政储金汇业总局的资信，以建设委员会名义向商业银行借贷，同时以淮南煤矿和铁路分段作抵押，逐步解决了修建资金问题。
  1936年6月25日，淮南铁路在九龙岗火车站举行通车典礼。国民政府建设委员会委员长张静江以及政府要员、银商高管、地方豪绅、外国使节等前来祝贺，见证这条由中国人自己设计、自己建造、自己运营的煤矿专用铁路开通盛况。太平洋国际学会及国内外报刊高度赞扬淮南铁路是“当时世界上造价最低、建造速度最快的铁路之一”。
  淮南铁路通车后，首先解决了煤炭外运通道问题。1936年，九龙岗和大通两矿对外发运煤炭66万多吨，比1935年增长近1倍。吨煤售价也大幅下降，发往江浙沪的煤炭每吨平均下降2．5元，淮南煤在市场上更具竞争力，市场占有率大幅提高。与国内其它铁路相比，除正太铁路因大量运煤，盈利为全国铁路之首，淮南铁路的盈利水平仅次于正太铁路。同时，淮南铁路的通车，还推动了合肥商业城市的扩大、芜湖港口贸易的繁荣和沿路城镇经济的发展。
  淮南铁路的成功修建与运营，除政府部门的决策外，一定程度上归功于总工程师程士范的科学运作和有效管理。可以说，程士范是继詹天佑之后，中国铁路建设史上值得永远纪念的一位爱国科学家。
  从1936年建成通车，到1949年10月新中国成立，淮南铁路所有权和经营权一直归属淮南煤矿局和解放初期的淮南煤矿公司。1950年以后，淮南铁路所有权和经营权先后移交给政府铁路管理部门。