康熙四十八年，一叶扁舟将58岁的张伯行又载回到苏州。这一年，他从福建巡抚的任上调任江苏巡抚。自从康熙三十一年补授内阁中书踏上官场起，已经宦海沉浮了近20年，20年的时光，张伯行从善如登，慎独慎微，时刻提醒自己“不以恶小而为之”。在近花甲之年，回到了天下最富庶的地方——苏州，担任江苏巡抚，从福建到江苏，张伯行一路节俭，只花了一两银子。
　　一踏上苏州这块土地，他就想起三年之前，升任江苏按察使时，按照官场惯例，新任官员要给巡抚、总督等上司送礼，以示投名递状，更兼有以后提拔关照之意。但张伯行素来清廉，拿不出这几千两银子，再加上他秉性耿直，从不巴结迎合，对这些陈规陋习深恶痛绝，铁骨铮铮地说道：“我为官，誓不取民一钱，安能办此。”不仅如此，在任上还革除当地弊病，整顿吏治，张伯行在官场的特立独行引起了巡抚和总督的诸多不满而备受排挤，但张伯行对这些冷遇并未在意，仍然恪尽职守，兢兢业业。
　　康熙四十六年正月，康熙南巡江苏，苏州张灯结彩。康熙谕令总督和巡抚举荐贤能官员。康熙皇帝惊异地发现以清廉闻名朝野的张伯行竟然不在举荐名单之中，对总督、巡抚申斥道：“朕听说张伯行居官清廉，是个难得的国家栋梁之材，你们却不举荐！”说罢又转向张伯行：“朕很了解你，他们不举荐你，朕举荐你。将来你要居官而善，做出些政绩来，天下人就会知道朕是名君，善识英才；如果贪赃枉法，天下人便会笑朕不识善恶。”于是，提拔张伯行为福建巡抚，赐予“廉惠宣猷”的匾额。
　　往事历历在目，3年的时间不算太长，可宦海沉浮，早已物是人非。而令张伯行更为忧虑的是，当时天下太平，官场上贪腐之风却日益盛行，他回到苏州就打算在人生的暮年整肃官场贪腐之风，为百姓做点实事。赴任后，立即发布《却赠檄文》：“一丝一粒，我之名节；一厘一毫，民之脂膏。宽一分，民受赐不止一分；取一文，我为人不值一文。谁云交际之常，廉耻实伤；倘非不义之财，此物何来？”
　　檄文虽言简意赅，句句都振聋发聩，可还是挡不住有官员行贿。六合王姓知县，业绩平平，却总想着升官发财，王知县深知，要想升官，离不开巡抚。于是一天去拜访张伯行，不顾张伯行夫人的婉拒，将一幅画留在桌子上。并再三说道：“只是自己画的一幅画而已，并不是什么礼物。”
　　傍晚时分，忙完公务的张伯行回到家中，隐隐约约觉得有些蹊跷，将画轴打开，扭开画轴端盖，里面金光闪闪，一根沉甸甸的金条掉在地上。
　　一个月后，王知县见张伯行没有反应，就又来拜访张伯行。张伯行取出一幅早已准备的书法作品交给王知县：“我赠你一幅字。”王知县接过卷轴，发觉十分沉重，一下心里就明白了，等到打开卷轴，一看是张伯行用隶书写的两句话：“一丝一粒我之名节，一厘一毫民之脂膏。”看完后，王知县满脸通红，悻悻而退。
　　张伯行在苏州大力整顿吏治，体恤百姓。康熙五十年，江南乡试的副考官赵晋暗中交接考生，接受贿赂。发榜以后，江南学子一片哗然，抬着财神进入学宫，震惊朝野。张伯行身为巡抚，上疏奏明此事，正考官左必蕃也把实际情况上报。康熙命尚书张鹏翮、侍郎赫寿查处，张伯行与两江总督噶礼会审。会审中张伯行得知噶礼暗中收受贿赂，张伯行刚正不阿，请求解除噶礼的职务，交有关部门严肃审理。噶礼反咬一口，牵强附会地找出张伯行的七条罪状上奏。康熙命二人都解职。张鹏翮与噶礼官官相护，奏报：赵晋与吴泌、程光奎行贿受贿事均属实，应按刑律治罪；噶礼暗中受贿事属诬告，张伯行应撤职。
　　张伯行无奈离去时，苏州士民扶老携幼送行，并献上果蔬，哭着说：“公在任，止饮江南一杯水；今将去，无却子民一点心！”不得已，张伯行收下豆腐一块、菜一束。
　　但康熙心如明镜，责备张鹏翮等为噶礼掩饰，又命尚书穆和伦、张廷枢重新审查，结果仍旧与前次张鹏翮等人的意见相同。康熙说：“伯行任官清正，这是天下所了解的。噶礼才干虽有余，但喜好无事生非，并没有清正的名声，这个意见是非颠倒。”于是，命九卿、詹事、科道官再议。第二天，召九卿等说：“伯行居官清正廉洁，噶礼的操行我不能相信，如果没有张伯行，那么江南必然受到他的盘剥，大概要达到一半地区。这次二人互相参奏的案子，起初派官去审理，被噶礼阻挠，以致不能得到其中的真实情况；再派官去审理，与前面的意见没有区别。你们应能体会我保全清官的心意，要使正直的人没有什么疑虑和恐惧，那么天下将会出现安定的局面。”于是夺去噶礼的官位，命张伯行复职。
　　次年春，审讯完毕，张伯行回到苏州听候结果，一路上，数万人集于江岸迎送。
　　经过这场风波，张伯行感慨万千，面对忠厚善良的苏州百姓，更坚定了他清廉执政的信念。
　　康熙五十二年，62岁高龄的张伯行在苏州历经艰难，创办紫阳书院，成为苏州最重要的学术场所和教育基地，至公元1904年光绪三十年停办，紫阳书院在前后不到两百年的时间里，培育出五位状元和多位名留青史的大学者，为江南文脉的生生不息作出巨大贡献。
　　雍正三年，张伯行病逝，雍正皇帝赐谥“清恪”，意即为官清廉、恪勤职守，两个字精确地概括了张伯行的一生。