曾国藩初战不利，退回长沙。他把水师安置于水陆洲周围，陆师扎于城郊，曾国藩住于座船之上，不入长沙城。
　　湘军这次初与太平军接触，实际上并未展开战斗，顿挫而回。长沙城里的官绅们便议论纷纷，多说曾国藩是文员带兵，定无出路，少数人提出解散湘军。骆秉章自然无权解散湘军，因为湘军的编练与出师咸丰帝都在上谕中认可；长江无兵守卫，他也正急需军队防守。但是，他对曾国藩态度也甚为冷淡，后来曾国藩回忆当时的情景说：湘军初离长沙，不利而回，自己不便进入长沙城，住在座船里，湘抚骆秉章不来见他，到他的邻船上去拜客，也有意不移步到他的座船之上赵烈文：《能静居日记》，1964年台北影印本，同治六年七月十九日……然而，在当时的“群疑众谤”的困境里，曾国藩咬定牙根，气恼而不灰心，他整顿队伍，准备与太平军真正较量一番，看看自己的湘军是否“可战”。

　　于是，他召集众将，议定下一步的行动。曾国藩向大家分析说：“湘军出师受挫，并未见出胜败来，‘粤匪’气势虽盛，但他们的军队兵力分散，一支军队窜扰两湖、四川、江西、安徽数省。进攻湖南的‘粤匪’，株守湘潭、靖港、湘阴、宁乡等地，后继无援。尤其湘潭一军，孤军深入，实为用兵大忌。我军应聚而攻其孤军，必可胜之。”
　　曾国藩的分析，得到诸将的一致认同，当即确定了集中兵力，攻击湘潭的计划：陆师派塔齐布为前锋；水军全部出动，彭玉麟、杨载福等5营先行，曾国藩率其余大部殿后。
　　湘潭太平军只有林绍璋一部，林忠勇有余，才智不足，一战被湘军打败，丢了湘潭，失去战机，是太平军西征军由胜转败的转折点。
　　但是，当湘军前部水师、陆师出发以后，曾国藩本人却因听信了不准确的军事消息，打消了随军攻湘潭的行动，在靖港吃了一个败仗。
　　曾国藩分派水陆出师后，打算第二天凌晨继后出发。但正巧在夜半，忽有靖港民团前来报告，那里的“长毛”仅有500余人，毫无作战戒备，若派军往攻，必然胜利。并且说靖港的民团已作好内应的一切准备。曾国藩闻信，核实了这份情报的准确性，得知民团来人与湘军内部确有朋友关系，不会有假。
　　由于出师受挫，曾国藩多么希望能打个胜仗，哪怕是个小胜仗，也能扭转一下受挫之辱。何况靖港也是湘江上的水陆要冲，打下靖港，割断太平军进攻长沙的路线，孤立湘潭，也不失为一次好仗。况且，以湘军大营的水陆军队，足可以很快吃掉靖港的500太平军。

　　思虑至此，他决定先攻下靖港，再回师进攻湘潭。
　　日期：2016-03-15 12:07:54
　　咸丰四年四月初二日（1854年4月27日）凌晨，曾国藩指挥湘军水陆，沿湘江北上，浩浩荡荡向靖港进发。顺流疾进，刚至中午，湘军水师和陆师都到了靖港镇外。
　　陆师过了浮桥，曾国藩即下了进攻的号令。然而，一进靖港镇，只听一声炮响，埋伏在港外的太平军一齐杀出。湘军初战受挫，这次又遭遇伏兵，一下子乱了阵脚，纷纷后退。李续宾、王錱等人想督军迎战，谁也不听指挥。一片喊杀声震山荡水，“活捉曾国藩”的吼声更让中计的曾国藩心惊胆战。然而，他心知不能一败再败，必须誓死抵抗。面对溃逃如潮的湘军，他怒火中烧，令护卫把将军旗插在江边，自己执剑立于旗下，高声断喝：“过旗者斩！”

　　溃兵涌来，曾国藩大吼一声，挥剑砍翻一个，余者呆立瞬刻，绕过军旗，继续狂奔。后面的败兵如排山倒海，曾国藩一把长剑再也不知刺向何人了！
　　这时，太平军大队冲入湘军队伍中，一片砍杀之声，湘军完全失败了。卫兵一把拉过曾国藩，护入座船，仓皇向长沙败逃。
　　曾国藩呆坐舱内，五内俱焚。衡州出师后，与太平军交绥，两仗两败，落了个狼奔豕突的结局，自己惨淡经营，苦练了将近一年的湘军，竟是如此无用。他想如此下去，原先的豪言壮语将全部落空。再回长沙，官绅们的冷眼将不堪入目。何况，这次是否能逃得回长沙，也很难说。耳畔，一片败兵的嚎叫，一片“活捉曾妖头”的怒吼！他左思右想，决定不如趁早一死，免得自讨其辱。这时，幕僚陈士杰、李元度看到曾国藩神情有异，命令章寿麟驾一舢板，随护座船左右。

　　岂料座船随员稍未注意，曾国藩猛然起身，推开舱门，纵身跃入江心。“曾大人跳水了！”章寿麟一面大叫，一面由舢板上跳入江中，很快救出曾国藩，扶进船舱中。大家七手八脚为他换衣、推腹，好在他并未呛水，尚无大碍。大家一路解劝，狼狈退回长沙。
　　日期：2016-03-15 14:17:53
　　如果说岳州之战湘军尚未与太平军见真章，而靖港之战由曾国藩指挥，中计大败，要算湘军成军出师的第一次大败了。许多史书却说湘军被“全歼”，这是夸大其辞的，那次曾国藩只带了湘军的大部作战，而中坚力量被彭玉麟、塔齐布率攻湘潭，进攻靖港的湘军也仅被消灭部分而已。那次作战，曾国藩究竟带去多少人马，被歼多少，走失多少，由于湘军对此讳莫如深，至今也没搞清楚。就说曾国藩的自杀吧，他活着时谁也没敢实说，直至曾国藩死后，亲自救他的章寿麟作了个《铜官感旧图》，请《湘军志》的作者王闿运作诗配之，李元度和左宗棠分别写了序。章寿麟所“感”就是曾国藩当年在靖港败后，船行至铜官渡投水寻死的情景。此后，世人才知靖港大败，曾氏自杀的事情真相。

　　曾国藩二败返回长沙，城里的官绅对他的攻击比第一次更加猛烈了。以布政使徐有壬为首，幸灾乐祸，煽风点火，齐拥至巡抚衙门，要求起草奏折，状告湘军的惨败，曾国藩的无能，要求解散湘军，惩办曾国藩。湖南提督鲍起豹更是放声大骂曾国藩，说湘军劳民伤财，把“粤匪”引到了湖南，是“引狼入室”，下令关闭长沙城门，不让曾国藩及湘军一人进城。
　　曾国藩二度返回长沙，情绪极为低落，他不吃不喝，不洗不理，蓬头跣足，万念俱灰，还想寻死。他叫来弟弟曾国葆，让他去做一口棺材，曾国葆不干，苦苦相劝。曾国藩大声命令：“这是军令，不听者斩！”曾国葆只好派人去买来一口黑漆棺材，停放在江边。
　　曾国藩还给咸丰写了遗折，说明自带湘军进攻靖港，开战不久，全师溃败，难酬当初为国报效之愿，决心一死报主恩，以谢丧师败北之罪。并推荐罗泽南、彭玉麟、杨载福等人，让他们继续率部征讨“粤匪”。同时又写了一个遗嘱，让曾国葆立即送其柩回家，不可在外开吊，费用自理，不可花公家的一分钱，湘军所余之资，概交粮台。
　　正当曾国藩选择着如何自杀的方法时，一直防护他的曾国葆推舱而入：“大哥！湘潭水陆大胜，湘潭大胜！”
　　“真的？”正徘徊于生死路口的曾国藩，那敢相信这突如其来的喜讯。
　　“真的！长毛全军覆没，贼首林绍璋只身逃脱。这是塔齐布的亲笔信。”
　　曾国藩双手颤抖，好不容易打开了塔齐布的信，读着读着，激动之情难以控制，两行泪水夺眶而出。
　　湘潭之战是一场大仗，也是一场硬仗。
　　原来，林绍璋率军占领湘潭，目的在由南北两路夹攻长沙。但当湘军自长沙出师后，他自知后援断绝，成了孤军。由于他的战斗经验较差，一时不知如何是好，诸将意见也不一致，相互争吵，乃至殴斗。正在太平军内部混乱之际，湘军前锋塔齐布攻至城外。林绍璋派兵在城北堵击塔齐布，自己退入城中。随后，湘军水师彭玉麟、杨载福、褚汝航也兵临城下，与太平军水师在城外湘江中大战。湘军之火力远胜太平军，湘军炮船用英、美洋炮轰击太平� 木船，木船起火，焚烧甚惨。湘军初战胜利，于是展开水陆大战，陆师攻城，水师以利炮助战。在湘军凌厉的攻势下，太平军大败弃城而逃，临逃之前，“老兄弟”开枪痛击“新兄弟”，“潭城分党哄斗，自相戮者，约计数百之多”《曾文正公奏稿》，第4卷，第55页……

　　湘潭之战自四月初一日（4月27日）至四月初五日（5月1日）。经过6天激战，湘军十战十捷，太平军阵亡万余人，逃溃亦近万人，船只被烧被夺2000余只。是太平军自广西出战以来最大的一次失败。自然也是湘军出师了不起的一次胜仗，成为双方军事的一个转折点。太平军西征军自此由胜转败；湘军的士气、声望则大振而起。
　　湘潭之战的胜利消息传到京师，引起咸丰皇帝对曾国藩和湘军的真正重视。清军与太平军作战，几乎每战必败，像湘军在湘潭之战上的胜利，实在太罕见了。自此之后，清政府对湘军刮目相看了。黎庶昌《拙尊园丛稿》记载：“湘军初练，某大学士言于朝，以为曾氏回籍自练军队，一呼数万，志不在小，非朝廷之福。而湘潭战后，皇帝特召编修袁方英（湘潭人）问所破贼状，皇帝听了大悦，当日授袁为松江知府，曾国藩之志方得以明。”遂后，咸丰发出一系列上谕，嘉奖湘潭大捷。同时下旨严责鲍起豹失城丧土之咎，革职拿办；塔齐布被任命为湖南水陆提督。尤让曾国藩感到高兴的是，准他单衔奏事，湖南省文武百官，除巡抚一人之外，曾国藩视军务需要皆有权调遣。