向荣、琦善接旨，更不敢怠，东攻南进，昼夜疾弛，不日，两军会师安庆。向荣不屑琦善，上奏道：钦差大臣琦善所带各兵，虽系生力，然素未经大敌，不敢骤令当先。臣之兵先行，琦善之兵权且在后作为接应，看前队兵勇数仗，使之眼明胆壮，知贼伎俩，然后再令独挡一面，方为万全之策。1853年3月30，向荣追至金陵，探看地势，疏曰：该逆先于城外多掘陷坑，密布竹签里许，并于长寿桥左右筑有土城，连扎营数座，防备甚严，以阻我兵进路。此外俱系小河，无可绕越之处。大兵须从桥上攻进。该逆坚壁固守，我兵进攻，势难施展。非避实击虚，不能得手。因查东路孝陵、淳化镇一带，地势宽敞，进攻较易，兼可扼贼窜苏常之陆路。当即统兵绕从秣陵关一带，驰往东路，度地扎营，相机进剿。31日，向荣率军至金陵城东沙子冈、钟山南麓孝陵卫一带，建江南大营。琦善率兵至扬州外围，建江北大营。江宁将军苏步通阿谓向荣道：“琦静庵已驻扎扬州城外，南北二营既成，向帅可有制敌良策？”
向荣道：“江北江南两大营遥相呼应，伺机攻金陵、夺扬州、取镇江。此乃遥思。贼众十几万，而吾兵单，势难多拔。逆首现在江宁，唯有攻其必救，悉力赶紧进兵，若日内能夺占钟山，即可进攻省城。谅分股之贼必然缩回，为围魏救赵之计。吾意，天津镇总兵李瑞、副将瑞格率兵两千，驰赴常州，汇江阴杨文定部，扼贼窜犯东南，相机攻击镇城。”
苏步通阿叹曰：“先夺钟山，以据形胜；涤荡外垒，再图攻城。此唯一之途、然亦遥遥无期矣！”
是夜，苏步通阿密召江南提督和春、广西提督福兴、河州镇总兵吉顺、鹤丽镇总兵音德布，道：“吾皇密诏，且观向荣动向，勿使汉人专柄。”
和春道：“吾皇若授吾等专攻金陵，吾等可有过人之策？向军门一路战来，有勇善谋，实乃统军之将。”
4月10日，向荣发令攻击，钟山太平军总不接仗，仅于墙内开枪放炮。清兵靠近，徒然受伤，无益于事。向荣无奈，只得暂缓攻击。13日，苏步通阿率部佯攻钟山、中和桥，和春、秦定三、邓绍良等率主力攻击通济门外营垒，张国梁捷勇绕后迂回，连破三垒。杨秀清调集重兵出城接战，和春不敌，败退回营。18日夜半，雾气弥漫，向荣兵分四队，偃旗息鼓，偷袭七桥瓮营垒；守军不备，旋即四散。向荣倾兵再攻钟山。七桥瓮失，钟山失去犄角，守军遂不再守，烧营而退。城东险要尽得，向荣大喜，再击雨花台。杨秀清惊，遣重兵守护。向荣连击五日，不克。就地扎营，浚濠困围。天津镇总兵李瑞进至常州，以城垣太旧，难以守御，迟不进击；已革抚臣杨文定亦以海上各船未至，不能贸然攻镇。向荣怒罢李瑞，饬令邓绍良进击镇江，随即再疏：金陵贼逆屡战失利，其势日孤，万一自知难守，竟从江上他窜，追剿更难为力。不如缓攻金陵，先从水上去其船只，使江宁、镇江、扬州三城之贼，首尾不能兼顾，然后可以制其死命。查三城形式，镇江最为扼要。盖镇城与瓜洲遥遥相对，而镇城又为上海兵船进攻必由之路。先复镇江，则扬州、江宁之贼，应援自多中阻。臣遣邓绍良部，由马陵、辛丰进攻镇城，镇江之贼现已被困，不能更扰苏常。至金陵城南，我兵现又陆续安营，相机进剿，此系东坝必由之路，自可无虞窜往。至溧水、高淳等处，抚臣许乃钊亦已札饬该县团练乡勇，以助声势。臣坐观时局，省城一有可乘之机，即当因势进攻，力图克复，不敢拘于先复镇江之成见。邓绍良接攻镇江令，偕京口副都统文艺进抵甘棠桥，罗大纲率军出击，两军接战，大纲佯败，绍良追至镇江城南，一股太平军忽自釜鼎山后杀出，抄袭清军后路，绍良首尾不能兼顾，损兵三百。文艺奏报小胜。咸丰帝严饬：此明系攻前遗后，被贼兜冲，一大败仗，何不详细声叙？向荣复遣和春督二十只艇船攻镇，吴如孝率三百战船围击。和春不敌，败退丹徒。向荣再派鹤丽镇总兵音德布率一千二百兵勇驰援，邓绍良气振，移营京砚山，居高而击，然亦不能进。长江北岸，琦善以北营兵乏炮钝，不能克期奏效，目前只可缓图，迟不攻击扬州。江北帮办大臣胜保嚷：“吾心急如焚，恨不能日日出队！”
直隶提督陈金绶亦曰：“一鼓攻城，即时可复。”
琦善无奈道：“尔等意攻，即攻！”
1853年4月19日，胜保攻破城东营垒，进驻司徒庙，再击观音山。26日，游击冯景尼，率勇五百，冲进徐凝门里许。琦善惧怕埋伏，急令撤出。5月7日，胜保、陈金绶击破西门、南门土城，攻陷二十四桥营垒。胜、陈急于再攻，琦善恐中埋伏，怒斥胜保、陈金绶攻击太猛，过犹不及，息兵数日，待机再攻。胜保怒疏：每当进攻吃紧之时，琦善已传撤队。奴才虽昼夜督阵，而为所牵制，孤力难成。其意似不欲奴才在扬目击克复。琦善之为人，才具似裕，不免矜伐，少能容物，颇不虚心，遇事多疑，惟恐人居其右。每遇折奏，百端改窜，极力铺张。但求自立脚步，不计实功，而不知暗中贻误已甚矣，以致扬城贼匪未能迅就扫荡，实为可惜。琦善不以为然，亦疏：大股匪众盘踞江宁、镇江、扬州，三城恃为犄角。臣与向荣分攻江宁、扬州。南北之军皆在陆路，声势既难联络，其水路艇船又远在镇江。现江宁、扬州击败之贼往来江中，无所阻挡，且浦口、六合、仪征等处，随在皆可登岸。贼若由江宁而至镇江，计程尚隔一百八十余里，若到浦口等处，则对江径渡，一水相通。况镇江续调上海艇船一经到齐，拦截大江，则逆踪不能南窜，势必群趋北岸。浦口、六合、仪征防兵甚单，仅有马队，无步队，不能收相辅而行之益。为今之计，与其分兵远防，莫若合兵迎剿。仰恳天恩，迅速添兵北路绿营官兵，兼程前赴浦口、六合、仪征，使逆贼知我有备，不敢萌北窜之心。