彭玉麟祖籍湖南衡阳，1816年生于安徽安庆，字雪琴(后有雪帅之称)，自号退庵堂主人。其父彭鸣九做过“合肥梁园镇巡检”，尽管这是一个级别很低的武官，却得到当时的安徽巡抚李翰章(李鸿章之兄)极高的评价，于彭鸣九死后亲自做传，将彭鸣九“推为皖中循吏之最”。
然而彭鸣九英年早逝，加之为官两袖清风却宦囊如洗身后没留下什么财产，再加上族中一些不良之辈又对他们孤儿寡母横加欺凌，致使彭玉麟在故乡湖南衡阳度过的少年时代不堪回首，欢娱既少，悲苦尤多。
令人气愤的是，他们孤儿寡母仅有的一点薄产也被族中恶徒侵吞了，彭玉麟的弟弟彭玉麒竟险些被人挤到河中溺毙。
一天，母亲王夫人把两个儿子彭玉麟和彭玉麒叫到跟前，哭着对他们说：“我们老是受欺受压的，这地方没法长住下去。你们尚未成年，还是远出避祸吧。记着，从今以后，你们要自强自立，等有了成就，再来见我!”
慈母泪落，滴滴伤情。穷人的孩子早懂事，于是十三岁的彭玉麒跟人去跑远水生意，长期音信杳然。
十六岁的彭玉麟则就读于衡阳城中的石鼓书院，他聪颖好学，特别能吃苦，从不怨天尤人。他当时“缊袍敝冠、三餐不继，然介然自守，未尝有饥寒之叹”。
生活的困顿，使彭玉麟不得得中断其学业，在军营中谋了一份相当于文书的职业，聊以奉养寡母。
在这期间，彭玉麟遇上了他生命中第一位伯乐——时任衡阳知府的高人鉴，一个偶然的机会，高人鉴在军营中看到了彭玉麟写的一份文书，对他的文才与书法大加赞赏，后来又招揽为门下弟子，并招他到官学读书，成为了一名秀才。
但如果止于此，彭玉麟最多只能是衡阳城中一介名士，通过科举之路谋一份官职，像父亲一样尽管贤能干练却只能终老乡间。
道光三十年(1850年)，湖南新宁爆发了李沅发起义，彭玉麟随衡州协标兵随往镇压。一场不过几百人的小暴乱，很快被平息，彭玉麟在此战中崭露头角，被授予蓝翎顶戴，却辞官不就，去湖南耒阳的一家当铺做了管账先生。
恐怕此时，知识分子的那份傲气依然在他心里根深蒂固，对靠杀人来博取功名的武将行径显然不屑一顾。
咸丰四年(1854年)，太平天国锋芒正盛，腐朽不堪的八旗兵节节败退，曾国藩正在衡州、湘潭组建水师，广求人才。先有曾国藩的弟弟曾国葆称赞彭玉麟，后又有常仪安推荐彭玉麟胆略超人，曾国藩遂发书召他速来。
可是彭玉麟刚刚丧母，在家守制不出。曾国藩再次劝出，并说：“乡里藉藉，父子且不相保，能长守丘墓乎?”这话说得很有水平，彭玉麟感其诚义，慨然应征，当即人军。
43岁的曾国藩与38岁的彭玉麟这次相遇，开始了其共同对风雨飘摇的清朝力挽狂澜于既倒的非凡人生。
入湘军后，彭玉麟在与太平天国军队的作战中骁勇善战，智勇过人。湘军主帅曾国藩让他创立了湘军水师，购买洋炮，制造大船，训练将士。
彭玉麟治军极严，湘军水师中，他的坐船是一条插着红旗的快艇，巡视各处，来去如风，营中三不准“斗殴、赌博、抽鸦片”，如有违者，轻则笞杖数十，重则人头落地，因此彭玉麟治下，军纪在湘军中堪称第一，远胜于以金钱醇酒美人为饵诱部卒死战的曾国荃所部。
易宗夔在《新世说》中称其时的彭玉麟“貌清癯如闲云野鹤，出语声细微至不可辨。然每盛怒，则见之者不寒而栗”，歌颂其威严治军。
他不负曾国藩之厚望，率领湘军水师于湘潭之战击败太平军，后随军攻陷岳州，在武汉、田家镇连败太平