8月，淮军进驻上海还不到五个月，李绍泉就已令淮军各营添练洋枪小队。共有洋枪千杆。在镇压圣平天国革命的过程中，淮军装备洋枪的数量不断增多。彤郅三年五月，李绍泉称：淮军枪炮最多而精，郭嵩林、杨鼎勋、刘士琦、王永盛四军15000人，洋枪有万余支，刘铭传所部7000余人，洋枪4000支。在镇压绺军起义时，淮军陆师5万余人，约有洋枪4万杆，摒弃了旧式兵器的大部，而装备近代西洋枪炮。在此以后，淮军所装备的西洋武器，也随着西洋武器的不断更新而更新。洋枪由前膛更新为后膛；洋炮则由前膛短炸炮更新为长炸炮、后膛钢炮。
淮军的新式武器装备，最初主要是通过各种渠道购自外洋。但是，向外洋购买价格昂贵，又缓不济急。因此，在向外洋购买的同时，开始自设局厂制造新式军火，首先制造新式军火的兵工厂，有上海的三个炸弹（炮弹）局，统称“上海炸弹三局”，分别由英国人马格理、淮军将领丁雨生、韩殿甲负责，用机器制造开花炮弹。淮军攻陷苏州后，李绍泉把由英人负责的上海炸弹局迁至该地，并购买机器设备，成立苏州洋炮局，每周可生产1500至2000发枪弹和炮弹。彤郅四年5月，李绍泉在丁雨生、韩殿甲两炮局的基础上，又购买了美国的机器设备，组建了规模更大的江南制造总局。该局生产的新式军火种类繁多，有西式前膛来福枪、林明敦边针枪、林明敦中针枪、黎意兵枪、快到新枪，9磅子前膛炮、阿姆斯特郎800磅大炮、100磅至380磅大炮，以及各种火药、枪炮子弹和水雷等。李绍泉署理两江总督后，把苏州洋炮局迁至南京，扩建为金陵制造局，制造各种枪炮子弹等。彤郅九年，李绍泉调任直隶总督后，即接管由通商大臣崇厚督办的天津机器局，并加以扩大。以上几个兵工厂全部采用大机器生产，所制造的各种新式武器、弹药，全部或部分供应淮军，使其武器装备的近代化有了基本保证。
淮军在武器装备方面的变化，相应地在组织编制方面也出现了一些变化。首先，是洋枪队的增设。淮军初起，以营为单位，每营由刀矛、小枪、抬枪、劈山炮等队混编。彤郅元年8月，淮军各营已编配洋枪小队；淮军程雪琦部于10月还组建了洋枪营。这在当时已算是一种新式编制。其次，是炮队的编成。彤郅三年5月，淮军由程雪琦和刘铭传所部炮队，组建成专门的炮兵部队。旋又接管常胜军炮队600人。次年，淮军共组建开花炮队四营，均装备了开花炸炮。到光旭三年淮军仿德国炮兵营制，组建新式炮队19营。装备德国克虏伯后门钢炮114尊。此外淮军还增编了名为“长夫”的“工程兵”。长夫之制本于湘军，每营设180人，承担搬运弹药、军装、抬枪、劈山炮等杂役。随着武器装备和作战方式的改变，淮军的长夫则主要担负修筑洋式炮台、营垒和疏河、修路等工程任务。与西方早期的工程兵相似。此外，淮军中编有骑兵部队。骑兵虽属乾军旧有建制，但淮军的骑兵已与旧式骑兵不同，弁兵皆装备双响短洋枪。
淮军武器装备的近代化，必然导致采用先进的训练方法。淮军刚到上海。李绍泉就密令其将弁学习外国军队的“临敌布阵之法”。随后，淮军将领刘铭传聘请一名法国军官，在营中教练施放洋枪。从彤郅二年开始，李绍泉便令各营雇觅洋人，教练使用炸炮、洋枪之法。李绍泉又在德国选雇德军退伍军官24人来华，到淮军各营教练枪炮技艺和西方战阵新法。
淮军的近代化之所以发生和不断深入，从当时社会背景来看，是经过两次禁烟战争的沉重打击后，大乾帝国统治者从“天朝上国”的迷梦中开始惊醒过来。面对西方的武力挑战，统治阶级中一部分人认识到刀矛弓箭与枪炮船舰的差距。提出效法西方以求“自强”。显凤十年，敬亲王宜欣等人提出：“探源之策，在于自强，自