据说，咸丰十年(1860)六月，太平军进攻上海，署江苏布政使上海道员吴煦命美国人华尔组成洋枪队，协助防守。同治元年(1862),江苏巡抚薛焕将这支队伍命名为“常胜军”。同年三月，李鸿章率淮军到达上海。将薛焕调回北京任职，以李鸿章署理江苏巡抚。曾国藩奏称江苏绅士请借英、法军队进攻苏州、南京，此事断不可行。慈禧便命令李鸿章相机对华尔的“常胜军”加以裁制。闰八月，华尔在浙江慈溪被太平军击毙。英国提督何伯表示“不令该国派员会带，即将外洋火器取回，恐此军亦归无用”。接着，他又推荐美国人白齐文接统常胜军。当时，太平军正与曾国荃部湘军激战于天京外围，李鸿章即派白齐文率常胜军驰援金陵。白齐文在英国政府的唆使下有意抗命，甚至殴伤上海粮储道杨坊，抢去洋银四万余元。李鸿章与英国新任提督士迪佛立即与英国驻上海领事麦华陀办理交涉，解除了白齐文的职务，常胜军暂交英军参谋奥伦管带，中国派员会带，人数由四千五百人减为三千人，经费由每月七八万两减为四万余两，淞江城内外地方事宜，外国管带官不得干预，惩办违法兵勇，听从中国会带官主意。
白齐文于同治二年(1863)二月，进京活动，美国公使蒲安臣向总理衙门递交照会。英国新任公使威妥玛也面见奕诉，为白齐文说情。不久，蒲安臣又称白齐文自行认罪赔礼，请求恢复原官，他还表示愿意为白齐文作保。三月初五日，奕诉将此事推给了李鸿章，并称美国公使馆照会，述说白齐文悔过，商令其仍带常胜军。李鸿章写信给曾国藩说：“接总理衙门来函，商令白齐文复带常胜军，虽英、美公使代为力保，中国岂毫无法度?白齐文自京回沪，充然得意，求鸿章即委管带，已严拒之，并详复恭邸矣。朝廷纪纲须共存立，乃如此模棱畏事……"李鸿章拒绝了白齐文，乃以英国军官戈登管带常胜军。同治三年(1864),戈登进攻金坛、杨库，均为太平军所败，颇觉气馁。李鸿章将攻苏州，即调戈登部移驻昆山，不让它参与苏州的掳掠。戈登极为不满，借口苏州杀降事，扬言要与淮军开战。李鸿章不对戈登让步。新任英国提督柏郎又要求李鸿章备文认错，也被李鸿章所拒绝。直到该年四月，李鸿章派营务处补用知府丁日昌等至昆山与戈登商办遣散该部。四月十四日，慈禧为了安慰戈登，特意赏给提督军衔以示荣宠。不久，常胜军已擅散完毕。其最为得力之炮队六百人，枪队三百人，海生号兵船数十人，则一律并入了淮军。由此可见，慈禧等人的借夷建军的确丧失国家的尊严，且得不偿失。