桓温掌权不久，就立即进行第一次北伐，北伐的目标是当时占据长安的前秦，桓温的军队一路攻打到了灞上，三辅地区的郡县全都投降。桓温安抚告谕当地居民，让他们安居复业，当地的百姓争先恐后地带着酒肉迎接慰劳桓温的部队，男男女女夹道围观，有些老年人还激动地流下了眼泪，说：“没想到今天又见到了朝廷的军队！”之后，桓温与前秦丞相苻雄等在白鹿原交战，桓温的军队失利，死亡一万多人。这个时候，因为兵粮匮乏的原因，桓温带着关中的三千多户人家撤退了。在这次北伐之中，桓温遇到了一个相当猛的人，连名字都很猛，只不过这个人最后没有跟着桓温走，而是留在了关中，并且日后成立了一番事业，我们后面还会讲到。

　　桓温退回荆州之后，很快便恢复了元气。356年左右，羌豪姚襄降而复叛，北返中原，取得了许昌至洛阳之间一大块地盘。同时，前秦和前燕正受内乱困扰，桓温看到这正是进军河洛一带的大好机会。为此，桓温十余次上表要求进军黄河，还都洛阳，但是朝廷却都不允许。不过姚襄忘恩负义地叛去，有失朝廷颜面，所以还是让桓温当上征讨大都督，去讨伐姚襄。
　　桓温自江陵出发北伐，他与同僚们登上大船的高楼，遥望中原，深有感慨地说：“遂使神州陆沈，百年丘墟，王夷甫诸人不得不任其责！”对于王衍等人的清谈误国，桓温很是不屑。他的记室袁宏说：“时运有兴有废，难道一定是这几个人的过错！”桓温脸色一变说：“过去刘表有一头千斤重的大牛，吃进去的草料豆饼比一般的牛多十倍，然而拉车赶路时，竟不如一头瘦弱有病的母牛。魏武帝曹操进入荆州后，就把它杀掉让士兵吃了。”

　　日期：2014-05-25 19:19:04
　　这年八月，桓温大军抵达伊水，姚襄把包围洛阳的部队撤下来抵抗桓温。他将精锐部队隐藏在伊水以北的树林中，派使者去对桓温说：“承蒙您亲自率领帝王的军队前来，姚襄如今以身归附天命，愿您敕令三军稍微退后，我们当夹道拜迎。”桓温说：“我来开辟光复中原，察看拜谒皇陵，和你们无关。想来见面的随便前来，近在咫尺，无须麻烦使者。”这开战之前，说假话的说假话，说废话的说废话，可能这外交辞令从古至今都是这个样子。姚襄凭借伊水和桓温交战，桓温将部队列阵前进，亲自披甲督战，姚襄的兵众被打败，死亡数千人。姚襄率领手下数千骑兵逃奔到洛阳北山，桓温没有追上。桓温随即进驻洛阳，拜揭了先皇陵墓，把遭破坏的灵寝都修缮完好，派专人看管。这是东晋立国之后，晋军第一次也是唯一一次回到故都。之后桓温派人马守护洛阳，自己则领三千多家归降的人民南迁至长江、汉水一带，返回荆州。升平四年（360年），桓温进封南郡公。

　　公元362年，前燕将领吕护进攻洛阳，桓温派人守城。并且上奏请求晋室迁都洛阳，又建议南迁的士族返乡，朝廷畏惧桓温，不敢有异议；但士族们却已安于南方，根本不愿北返。在此忧虑之时，扬州刺史王述认为桓温只是以迁都之名威压朝廷，并非真心想还都洛阳，只要朝廷表个态骗骗桓温就可以了，所以虽然下达了诏书，但是晋室始终没有还都洛阳。

　　兴宁元年（363年），桓温获加授侍中、大司马、都督中外诸军事、录尚书事、假黄钺。次年前燕又再进攻洛阳，守将出奔。东晋朝廷本来想展开行动，但因晋哀帝死，征伐之事就暂停。同年，前燕攻陷洛阳，桓温的北伐成果又就这么丢了。
　　太和四年（369年），桓温为了树立更高的威望，发动第三次北伐，并请与徐、兖二州刺史郗愔、江州刺史桓冲及豫州刺史袁真等一同讨伐前燕。而桓温其实一直都希望控制郗愔在京口（今江苏镇江）所统领的精兵，郗愔子郗超时为桓温参军，便修改了父亲写给桓温的书信，变成以老病辞任二州刺史职位，并劝桓温接掌自己所领军队。桓温看信后十分高兴，桓温亦因而得以自领徐、兖二州刺史。及后，桓温正式起兵，率五万人从姑孰出发北伐。

　　桓温前进至金乡，因大旱引水让水军舟船得以进入黄河。当时郗超认为如此难以运输补给，建议直攻前燕都城邺城，或者停驻黄河、济水一带管理漕运，积聚足够的物资待次年夏天才进攻。但桓温都没有听从。桓温派军先后攻败湖陆守军、在黄墟迎击的慕容厉和林渚的傅颜，前燕于是向前秦求救，桓温亦前进至枋头。桓温及后没有再进逼前燕，反希望以持久战坐取全胜。九月，因袁真无法开通石门以通水路运输，而前燕亦断了桓温粮道，桓温见战事不利而粮食又已尽，更听闻前秦援兵将至，于是烧船、弃辎重铠甲，自陆道撤退。途中遭前燕骑兵追击，损失三万余人；更被前秦军在谯郡击败，于是这次北伐以大败告终。

　　桓温北伐后，命人修筑广陵城并移镇当地。又因北伐失败而感到十分羞耻，并将罪责推给未能开通石门水道的袁真。袁真不甘心被桓温诬以罪责，而上奏桓温罪状又不果，于是以寿春（今安徽寿县）叛归前燕。同年袁真逝世，太和六年（371年），桓温率军击败前秦援军，并攻陷寿春，俘斩袁真子袁瑾。
　　桓温倚仗他的才能与地位、声望，暗中怀有背叛皇帝的心志，他曾经抚枕慨叹道：“男子汉不能流芳百世，也应当遗臭万年！”方士杜炅，能预测人的贵贱，桓温问他自己的官位能到什地步。杜炅说：“明公的功勋举世无双，官位能到大臣的顶峰。”桓温听后不高兴。桓温想先在河朔建立战功，以此为自己赢得更大的声望，回来后接受加九锡的礼遇。等到在枋头失败，他的威赫名声陷于困顿，受到挫折。攻克寿春以后，桓温对参军郗超说：“这足以雪枋头的耻辱了吧？”郗超说：“没有。”过了许久，郗超到桓温的住所留宿，半夜时分对桓温说：“明公在这里没有考虑什么吗？”桓温说：“你想有话对我说吗？”郗超说：“明公承担着天下的重任，如今以六十高龄，却在一次大规模的行动中失败，如果不建立非常的功勋，就不足以镇服、满足百姓的愿望！”桓温说：“那么该怎么办呢？”郗超说：“明公不干伊尹放逐太甲、霍光废黜昌邑王那样的事情，就无法建立大的威势与权力，镇压四海”桓温历来怀有此心，对郗超所说的深以为然，于是就和他商定计议。于是就说：“皇上早就患有阳痿，宠臣相龙、计好、朱灵宝等，参与服侍起居床第之事，与田氏、孟氏两位美人生下了三个儿子，将要设立太子赐封王位，转移皇上的基业。”并将这话密秘地传播到民间。

　　这皇帝的丑闻一旦在民间传开，就一发而不可收拾，并且朝廷向太后等人，也都知道桓温想干嘛，人家兵权在握，只好顺着他的心意，于是桓温就顺利地在当年便废晋废帝司马奕为东海王，改立司马昱为帝，即晋简文帝，自己以大司马专权。