张树声，字振轩，于道光四年（1824年）出生于肥西张老圩（今属紫蓬山管委会）。张氏家族是当地一个大家族，据家谱记载：张氏为清河郡，百忍堂。先世自江西迁合肥之南乡；明季有鏊公者，再由南乡迁西乡，世居周公山下。至张树声一代，已传衍十一世。张树声的父亲名张荫榖，是一位取得郡庠生 名号的读书人。张树声自幼生长于一个书香门第，其父治学以实行为先，沉潜经史，贯通大义，尤其侧重于经世济时之务，不屑于凡夫俗儒、记诵词藻的风气。
张荫榖学业勤勉，但科场却始终不顺，三应秋试皆未能中式。由于家口众多，食指浩繁，生计日渐蹙迫。无奈之下，他只得放弃举业，为生计衣食奔忙。每晚便教诸子读书，授解课文，剖析意旨，讲解不倦。同时还要他们临帖习字，众子在严父训导下，不敢懈怠，也能旦夕勉励，学识皆日渐精进，为以后事业的发展打下了良好的文化基础。
张树声兄弟九人，他排行居长，二弟树珊、三弟树槐、五弟树屏，后来皆为淮军将领。树声受到家学薰陶，志向高远。少年时期，他刻苦用功，绩学励行，除重点攻读“四书”“五经”外，于天文、历算，地理、兵法等都有着浓厚的兴趣，在同时学友中甚为杰出，深得学界耆宿的赞赏，预言此子日后必成大器。不久，树声即以博学冠群，录取为县学廪膳生员（简称为廪生），就是可以获得朝廷钱粮资助的优秀生员。正常途径一般都是经过科举考试，考中者可以依次升为国子监学生（贡生）、举人、进士，取得功名，然后进入仕途，平步青云。
张树声平日凭窗苦读，但却无意于功名。每有客至，爱谈天下形势，“国家兴亡、匹夫有责”的信念深植在他的心中。离家不远就是周公山，传说为三国风云人物周瑜年轻时读书的地方，张树声幼时就特别崇拜周瑜，常和伙伴们登山游玩，来到山顶周公庙、周公洗砚池等处，凭吊这位古代文武兼备的英雄。他曾写有一首《过周公瑾墓》的诗中，就有“鼎足功收一炬红”，“半壁江山效死忠”之句，抒发了立志报国的情思。 清代咸丰年间，社会矛盾激烈，内忧外患，天下大乱。太平天国起义席卷大半个中国，捻军在淮河流域与之遥相相应，江淮地区到处土匪、盗贼猖獗横行。合肥西乡民众惶恐不安，父老乡亲经常聚集在士绅张荫榖家中，磋商应对之策。当时，各地有办理团练以自保之举，曾国藩就是在籍办理团练而创建湘军的。于是，张荫榖挺身而出，率先捐出家中存粮数百石，并动员富裕人家出资，贫穷之户合力，招募青年壮勇，亲率树声、树珊、树屏、树槐数子，在周公山下殷家畈筑堡垒寨（后扩建为今天的张老圩），创办团练，以图自保。团练初成，张荫榖便制定了条约纪律，定期集训，使得乡民同心，西乡局势得以基本稳定。他们还与周围不远处的大潜山刘铭传、紫蓬山周盛波、周盛传等部团练互相呼应，号为“三山”团练，声势较大。
当时西乡团练声势之盛，“百里之内，互为声援；贼来则战，去则耕；贼近则守，远则出击。” 不但地方官奉为上宾，时相招请出战；团练之间则是“寇至则相助，寇去则相攻，视为故常。” 据说，叶志超为谢先亮团练练勇时，途遇一女，强行抢夺过来。后来，却知此女竟是张氏兄弟的中表妹。其中有实力者如刘铭传，更思“乘时纠集团众，独树一帜，为异军之突起” 。据说，肥西几路团练一度准备加入太平军，会盟定议时，忽然大风刮断旗杆，刘铭传军师刘盛藻以为“天不助也”，遂未成行。
咸丰二年（1852年）十二月太平军攻克武汉后，沿江而下，很快席卷皖省。攻占安庆后，继续北进，所到之处，清军望风而逃，不战弃城。曾先后数围庐州，咸丰八年（1858年）还取得著名的“三河大捷”。在此期间，张家团练多次受清朝官府之命，受道员李元华指挥，在本县及六安、霍山、无为等地参与抵抗太平军的战斗。后来，又为李鸿章父刑部郎中李文安所招，在庐州一带围攻太平军。李文安去世后，张树声率部又回到李元华部下，曾外出至无为、巢县、潜山、太湖等地作战，累功被保荐为同知。由于他和李文安、李鸿章父子相互过从的关系，为以后随召集组建淮军打下基础。 同治元年（1862年），湘军统帅曾国藩由于“三河大捷”之役湘军大败，主力被歼七千余众，无力分兵援沪，命当时为其幕僚的李鸿章招募两淮营勇，组建“淮军”，以补湘军力量的不足。李鸿章受命后，正踯躅间接到曾虽其父办团练、抵御太平军的张树声派人送来的一道禀帖。帖中张树声洞陈安徽形势，表示了愿意投效的意图，还谈了合肥西乡团练的一些情况。于是，李鸿章即将此信转呈曾国藩，并附信写到：
张生血性忠义，历年办团带勇，现居庐六交界，结乡民筑数十寨以自卫。肥、舒贼不敢近，可谓疾风劲草矣。所陈皖事亦有体要，谨将原件附呈钧阅……
曾国藩阅信后，对张树声大加称赞：“独立江北，真祖生也！”于是，李鸿章给张树声复函，要其带刘铭传、周氏兄弟、潘鼎新、吴长庆等人来安庆建面。张树声接信后，立即奔走联络各家团练首领，凭籍李氏父子在乡办团练所建立起来的关系网，各团练头目踊跃响应，过程比较顺利。同治元年（1862年）新年一过，首批招募的树（张树声）、铭（刘铭传）、鼎（潘鼎新）、庆（吴长庆）四营陆续开到安庆集中。曾国藩对这批新招淮勇十分关注。各路团练来不久，曾国藩就在府中亲自召见张树声、刘铭传、潘鼎新、吴长庆等新任营官，以及准备充当营官的李鹤章、吴毓芬、吴毓兰、张树珊、周盛波、周盛传等十余名将领。以张树声领头，刘铭传等人排班而入：
靖达体修硕，而刘公短小精悍，文正迎至廊下。蹀躞往来，独步至两小时之久，未出一语相谘询。自靖达 以次，肃穆寅恪，鹤立鹄候，莫敢声咳。时壮肃 气最盛，以文正之侮已也，挥袖磨拳，势将用武。在此间不容发，文正遂笑迎之曰：“诸君均人杰也，今日之会，天其有意致中兴乎？已饬麾下列几筵，请与诸君聚饮，尽今日欢。”席次，畅谈用兵方略，规复计划，沆瀣相合，有如宿契。
曾国藩推重“相人术”，常常先凭对手下相面（即所谓第一印象）作出考评。观察下来，发现张树声最为沉着耐心，而刘铭传则性格暴烈，二人尤得曾国藩之赏识。未过几日，李鸿章正式移驻北门外新营盘，建立起独立的指挥部，标志“淮军”正式建立。曾国藩亲自“为定营伍之法。器械之用，薪粮之数，悉仿湘勇章程，亦用楚军营规训练之……” 。在淮军组建过程中，主帅李鸿章始终身在安庆，淮军初创时的主体部分——庐州团练，基本上都是由张树声联络邀约的；“树声为言刘铭传及周氏兄弟才武，左提右挚，各建旗鼓，淮军之兴实树声之倡也。” 由于李鸿章在庐州团练的各种关系和基础，也由于张树声的奔波劝说和积极倡导，淮军的组建、招募才得以比较顺利。因此，完全可以认为张树声是淮军的实际组建者或联络召集者。 淮军成军后不久，就在李鸿章带领下，自安庆乘轮沿江直赴上海。张树声带所部“树”字营，与刘铭传“铭”字营、潘鼎新“鼎”字营等13营，共约6500人一道前往攻打太平军。刚到上海时，当地官绅看到这些来自江淮乡间的士卒布巾裹头，衣衫褴缕，兵器形制杂陈、简陋不堪，“皆笑指为丐”。李鸿章则激励大家：“军贵能战，非徒饰观美，待吾破敌慑之，笑未晚也。”不久，淮军果然打了几场恶战，成功守沪，顿时令中外人士刮目相看。
在和太平军对垒中，张树声所率“树”字营，先后参加多次激战，虽多次损失惨重，但也立下不少军功，受到褒奖。其中如四江口之战、无锡荡口之战、攻克江阴之战、苏州之战，等等，或为主攻，或为伏援，或为突袭。其弟张树珊更是勇猛善战，屡立战功。其他如董凤高、王孝祺等都是树军猛将。在苏州之战中，李鸿章用招降之计，骗得太平军守军八王投降献城，得手后又背信弃义杀掉八王，导致牵线招降的洋人常胜军首领戈登与之翻脸。但城池已得，其奈我何！
随后，在李鸿章的率领下，张树声与刘铭传、周盛波等人率部又参加围攻常州之役，攻占常州，擒杀太平军护王陈坤书、佐王黄和锦等，刘铭传还在护王府中无意得到国宝“虢季子白盘”。同治三年（1864年）7月，湘军曾国荃攻破天京，太平天国终被镇压。此间，张树声前后数十战，因功从道员升至以按察使记名，获卓勇巴图鲁名号。
毋庸讳言，淮军在历次作战中，也是大肆杀戮、掠夺。初期，淮军本无军饷，全靠掠夺维持。据记载天京被曾国荃湘军攻破后，湘军入城多大肆抢掠，“各勇留营者皆去搜括，……担负相属于道。”湘军将领萧某“抢天王府金银，举火一焚以灭迹。”曾国藩向称治军严正，尚且这样，可知淮军也大体相似。淮军将领战后个个发财，家资巨万，难说与此无关。
不久，捻军又起，张树声再次率“树”军随从曾国藩剿捻。次年，受曾上奏保荐，实授直隶按察使，“树”军将交由其弟树珊统领。在湖北德安一次剿捻战斗中，张树珊因轻敌冒进，被大批捻军马队围困被杀。据说当时受伤倒地未死，捻军在查看时，发现他外着军服，内衬湖绸短袄，知非普通士兵，于是补上一刀身亡的。张树声得到弟弟死讯后，迅即赶来收拢残部，继续参加剿捻作战。后来，在李鸿章的指挥下，用刘铭传的“设围追剿”之策，终于同治七年（1868年）将捻军东、西两部先后镇压下去。捻军既灭，淮军各部处“铭”、“盛”等部外，其他大部裁革。树军也相应裁撤，后来，五弟张树屏就任太原镇总兵后，曾奉命招募6营，称为“树”字新军。 两江总督曾国藩对张树声的才干十分赏识，同治四年（1865年）五月即上奏任命他为徐海道，协助其处理地方事务，在本地几位同为团练出身、同时走出的淮军将领中，相对来说是较早的。吴汝纶后来评价：“树声以诸生值世乱，受知国藩，……在军、在官决事有程，暇辄不废记览，于淮军中最为儒将，其从行间入官及擢任疆吏，亦于淮军诸将最为先达。”
曾国藩调任直隶总督后，于同治八年（1869年）奏调张树声担任直隶按察使，这是一个专管司法、监察、刑名的职务，也简称“臬司”。张树声到任后，立即着手清理积案。由于连年战乱，直隶一省的诉讼案件积压万余件。各级官吏为之疲于奔命，民生之困均由于此。曾国藩与张树声首先筹划清理办法，形成《清讼事宜限期功过章程》。然后，张树声实力奉行，不长时间将积案全数处理完毕。由于政绩卓著，张树声于调补山西按察使、布政使，不久再升至护理山西巡抚。同治十年（1870年），张树声升为漕运总督，此后又担任过江苏巡抚、署两江总督等职。
张树声在淮军诸将中，是除李鸿章之外最早得任督抚一品大员要职的，一直官运亨通。清代官制以文制武，非文途出身者难至督抚，武途出身积功一般只至提镇，难以再往上升至节制一方的总督、巡抚之位。刘铭传军功卓著，但因武将出身，官至提督后一直未能上升，最后清廷因迫于其保卫台湾，且逢台湾建省，才得以授其台湾巡抚之职的，这已是光绪十年（1884年）了。淮军将领中进士出身的刘秉璋 、潘鼎新 后来均出任督抚。有清一代，武员而至督抚者寥寥无几。
张树声任官期间能够勤奋努力、廉洁奉公，也取得一些值得称道的政绩。例如：漕运总督时根据实际情况，上奏朝廷，提出改河运为海运。原先漕运经由运河，但由于年久失修，节节浅阻，加之“黄水日益泛滥，运河愈形淤塞，……水落砂停，几成平陆。”因此，他力请将长江以北河运改为海运，保证了漕运畅通；在担任江苏巡抚及署两江总督时，张树声积极组织进行太湖流域水利兴修。太湖流域历经战乱之后，水道淤塞，洪灾不断。上奏朝廷后，他组织人员疏浚河港、修建桥梁水窦（涵洞）等等，“使入湖之水分出各港，畅流达海，不致下壅上溢。”并以苏、沪二厘局厘捐银二十九万五千余两，用于开支，不加重地方负担，当地百姓得到受益。
张树声还针对吏治腐败加以整治。当时为了筹饷，允许人员捐资补缺，江苏一省“各班捐省人员，分发到省道、府以至未入流，现计不下二千余员”，实在无缺可补。这些捐资者大多是抱着“一年清知府，十万雪花银”的想法，任职之后难保不贪腐。因此，需要加以改正。但是，捐资补缺的做法“事关筹饷全局，何敢率议更张”，只能奏请朝廷，暂停江苏分拨，对吏治加以整治。
光绪元年（1875年），张树声丁母忧去职回乡。在故乡期间，他曾联合刘铭传等人在离故居张老圩不远处，创办“聚星书院”，请李鸿章、左宗棠等人题写匾额、门联，培养故乡人才；还曾应主持修复巢湖姥山文峰塔的吴毓芬之请，题写 “势如涌出”四个苍劲有力的大字，至今石刻塔匾仍高悬塔中。光绪四年（1878年）起复后，张树声历任贵州巡抚、广西巡抚。其间，着力剿平黔、桂等地李扬才、蒙老忿等匪乱。光绪四年（1878年）进京觐见，受到当政的慈禧太后召见。召见中，慈禧询问了一些办理洋务、国家自强之策及地方民情的问题，张树声一一作答，并阐述自己的见解和主张。
光绪五年（1879年），张树声升任两广总督，成为权倾朝野的重臣。任上，张树声重视办理南疆海防、陆防，也顺应洋务自强的时势，开办了一些造船、办学、架筑电线、修建炮台等洋务，收到一些成效。值得称道的还有“禁闱姓”、“洋药土烟税釐”等项。所谓“闱姓”，实为一种类似于今天**的赌博方式，当地虽然屡经申禁，仍是愈演愈烈，“赌日盛而民日贫”。因此，他坚决反对有人提出的“开禁抽捐”之议，从严加以禁止。洋药、土烟实即鸦片。鸦片战争国门被西方列强打开之后，吸食鸦片实已无法禁止，但鸦片毒害尤深。张树声上奏朝廷，采取加徵税釐的办法加以控制，以期逐步减少民众吸食，在当时不失为一种无奈之举。 光绪八年（1882年）四月，李鸿章因丁忧回藉，奏由张树声署理直隶总督兼北洋大臣。张树声接任不久，就遇到朝鲜发生内乱。以朝鲜国王之父李罡应为首的保守派，因不满国王李熙、王妃闵氏推行新政，以克扣兵饷为由聚集乱兵生事，冲击王宫，烧毁日本使馆，杀死日本练兵教头崛本等7人。日本领事花房义质连忙逃回国内搬兵。朝鲜国王、闵妃亦不知所踪，国内乱作一团。日本早有侵略日本之心，趁此事件正欲借端发事。当年农历是壬午年，所以史称“壬午事变”。
数日后，在中国天津的领选使金允植、鱼允中，向清廷禀报事实真相，请求宗主国出兵靖难。朝鲜古有“箕子之国”称谓，明清以来，向为中国的宗藩国。张树声接到报告后，一面上报总理衙门请示办法，一面致电李鸿章磋商意见。由于担心日本借机介入，而军机不可延误，张树声立即派北洋水师提督丁汝昌，持自己亲笔信函，去山东登州见到“庆”军主将、官任广东水师提督的吴长庆，并约吴长庆至天津面商对策。吴长庆接信后闻变即行，立即赶赴天津。刚住进事前安排好的公馆后，张树声即带着一名随员，“微行至该公馆，密商派兵东征”。因为知道当时“日本在北京、天津都有间谍”，非得如此才能保密。
张、吴商定对日采取强硬外交政策的方针后，吴长庆立即赶回军营，发出紧急命令，预备开拔。数日内，由海军提督丁汝昌率“威远”军舰，及招商局“镇东”、“日新”、“拱北”等轮船，将吴长庆部五营近三千人马东渡朝鲜。登陆后，吴长庆、丁汝昌以及随行马建忠、袁世凯等人查明情况，采取迅速果断措施，缉拿主要凶手，设计扣押肇事主谋大院君李罡应并立即乘军舰解付中国，使事态迅速平息下来。日本领事花房义质搬兵来迟一步，刚到朝鲜港口，已见多艘中国军船停泊，“日本大将海军卿屯兵海口，相顾错愕，狡谋不敢发。” 最后被迫接受签约撤兵。这次军事行动运筹得非常成功，使中国在朝鲜问题上，与日本交涉中处于极其有利的位置，朝鲜转危为安，也使中国避免了唇亡齿寒的不利局面。
正是由于张树声能够及时果断、迅速调派淮军吴长庆部自山东渡海入朝，平息朝鲜内乱，杜绝日人觊觎，才较为顺利地使事件基本圆满解决。这次事件，是晚清时期中日三次纠葛 中，第二次取得胜利。事后，有人评价这一次如果还是李鸿章的话，以他一贯优柔寡断的作风，断不至如此迅速。张树声果断指挥成功处置事变后，清廷下旨：“此次朝鲜乱军生变，张树声相机调度，督率有方，著赏加太子少保衔”。 张树声前后两次任职两广总督。作为守护中国南疆的镇守大员，竭尽全力办理南疆海防、陆防，虽因时势所限、朝廷战和不定、官员相互掣肘，经历战败，饮恨终身。但其加强南疆海防、陆防思想的种种举措，还是取得重要作用，为后来中法越南战争“镇南关大捷”取得胜利奠定了基础。
光绪五年（1879年）十一月，张树声就任两广总督不久，就对南疆海陆防问题作了实地察看和部署。两广东接福建，西连云南，有着千里海疆和越南边境。当时，法国已侵入越南南部，时时准备北侵。越南原为中国藩属之国，越南不保则中国边境不宁。对于法国蓄谋侵占越南、进谋两广的战略意图，张树声早有察觉和防备。当其还在广西巡抚任上，就命令统领左江防营的记名提督黄桂兰以出境剿匪名义，进入越南境内的谅山、高甲等地安插勇营，择要驻防，一边剿匪，一边加强防守准备。
鸦片战争之后，中国南海边防日渐废弛。张树声看到原有虎门、长洲等处炮台或年久失修，或无人值守，一旦作战不堪一击；轮船一项更是空白。
光绪九年（1883）秋，法国开始侵略越南北方，越南国王请援，形势非常严峻。当时，张树声正在病休，闻讯立即奏请督师抗击，朝廷犹观望不决，来允。不久，战事转紧，清廷于是令其回任备战，张树声闻令即行，购带枪炮，奏调吴宏洛淮勇五营同往。同时，购带了部分当时较为先进的哈乞开司、毛瑟各兵枪和克虏伯过山炮。到粤后，立即派遣将领募兵训练，分布驻守各处要塞；并致电国外，订购克虏伯大炮二十余尊、毛瑟精枪数千杆，及水雷、电线、炸药、棉药等战备物资，刻期运到。
1884年（光绪十年）二月，中法越南战争正式爆发。驻越法军进攻越南北圻，清军陈得贵、徐延旭、黄桂兰等部不敌败退；不久，又失守重镇北宁。清军未能及时组织反攻，提督黄桂兰竟然因败感愤自杀。与此同时，驻扎越南的黑旗军刘永福率部英勇抗法，却数战皆捷。四月，朝廷以战败并应张树声自请，开其两广总督之缺，专门治军；不久又予革职留任处分，仍办理广东防务。五月初，清军潘鼎新、王德榜部在观音桥击败法军进攻，取得胜利。但此时朝廷却战和不定，忽而谈判，忽而开战，寄空想于外交调停。不久，法军转向进攻台湾，挑起第二阶段战争，突袭福建马尾船厂，南洋水师全军覆没。这时，清廷才被迫正式下诏对法宣战。
虽然张树声一心抗击法军入侵，但他此时已经重病缠身，“肝风旋动”，卧床不起了。只能依靠淮军旧将潘鼎新、吴宏洛，以及原属树字营的将领王孝祺、董履高等人在前线指挥作战了。后来，清军老将冯子材率苏元春、王孝祺、董履高等人，取得“镇南关大捷”，大败法军，收复凉山，终于打退了法军侵略的嚣张气焰。广西战场上的胜利，有力支持了刘铭传的抗法保台。 光绪十年（1884年）四月，张树声因病请开去总督缺后，专治军事。他亲驻黄埔行营，督率诸将备战。每日登山涉海相度形势，布置安排“拦河、阻船、安雷、发电、截击、援应”等各项军事准备措施。由于“炎暑郁蒸，海风尤厉，病体不支。……终以积劳过甚，受病已深，服药亦不效。”此时，张树声已经“萧然布被，伏枕支离，流涕呜咽……，昏瞀谵语，率皆部勒防劳，语或大呼开炮击贼。”最后，张树声因病势加剧，于九月初八日（10月26日）病逝于军中。
张树声是淮军将官中很有政治卓识的人。他临终前，冒着遭受谴责的风险，以“鸟死鸣哀，……垂死涕泣，不知所云，谨伏枕口授《遗折》”，委托继任两广总督张之洞、兵部尚书彭玉麟等人代为转呈清廷。他在《遗折》中痛陈国事，请及时变法以奠国家长治久安。他首先分析了当时大清王朝面临的国际形势：
泰西之人，负英鸷之性……挟其轮船枪炮之坚利，以与我中国从事。数十年来，俄罗斯侵轶于北方，日本窥伺于东海，英吉利由印度、缅甸以规滇、藏，法兰西据西贡、海防而谋滇、粤，雎盱怪状，日益难制。
当时，西方列强自北向南，有俄罗斯、日本、英、法各国环伺左右，但是，“中国蹈常习故，衣冠而救焚，揖让而拯溺，其何以济耶？”他希望皇上和朝廷能“断自宸衷，通筹全局，……中外臣工同心图治，勿以游移而误事，勿以浮议而隳功，尽穷变通久之宜，以奠国家灵长之业，则微臣虽死之日，犹生之年也。”这是自己“终夜感愤，与世长辞，终难瞑目者也。”
这是一篇具有历史价值的文献。张树声看清楚西洋立国具有本末，育才于学堂，论政于议院，君民一体，上下一心为其体，轮船大炮、洋枪、水雷、铁路、电线为其用。今中国遗其体面而求其用，必无功效。所以他奏请清帝宸衷立断，毅然采西人之体以行其用。换句话说，就是必须变法维新，方足以图自强。李鸿章等人所徘徊瞻顾不敢奏陈的意见，都由张树声以临死的哀鸣，披沥痛陈于清帝之前。其言虽未被采纳，而后来戊戌变法维新运动，张树声已树其先声了。
张树声病逝后，朝廷于十月二十三日下达谕旨：“张树声才识优长，勤能练达，战功卓著，由道员洊擢封圻，于吏治、营伍、驭远、筹防诸务，均能实心规画。……留办广东防务，正资倚畀。兹闻溘逝，悼惜殊深。加恩著照总督例赐恤。并将事迹宣付史馆立传。任内一切处分，悉予开复。”同时予谥“靖达”。
张树声病故后，灵柩运回故乡肥西县，安葬于周公山西麓。张树声的遗著有《张靖达公奏议》八卷，为其幕僚何嗣焜将其历年奏疏143篇，编为八卷，于光绪二十五年（1899年）刊印成书。此书记载张树声从政后的一些决策举措，及其自强维新思想的发展过程，具有较高史料价值。另外，还有收录张树声书信、奏对等篇的《张靖达公杂著》一卷传世。