张燮林早年自学成才，1958年获得上海市比赛亚军后被调入上海队，1960年进入中国国家乒乓球队。曾参加过多届世界乒乓球锦标赛，先后获得过男团、男双和混合双打冠军，并获得过男子单打第三名。1972年至1995年期间担任中国国家女子乒乓球队教练，邓亚萍等著名运动员均出自其门下，后升任国家体育总局乒乓球羽毛球运动管理中心副主任。

张燮林是1987年乒乓球世界锦标赛“何智丽让球事件”的幕后主教练。他要求中国乒乓球女运动员何智丽在比赛中故意输掉二分之一决赛给另一位中国女运动员。何智丽没有听从他的指示，赢得了比赛并最后赢得了世锦赛冠军。随后他禁止了世界排名第一的何智丽参加任何国际性大赛包括奥运会。何智丽在巅峰时期无赛可比而被迫远走日本，加入日本国籍，代表日本出赛。张燮林作为违反体育公平竞赛的幕后操纵者没有受到中国体育局的任何处罚。