柴书林1935年考入北平大学法商学院经济系,当年12月,发生了“一二·九”爱国学生运动,柴书林积极投身到运动中,担任法商学院三院学生会会长、北平学生联合会组织部长。1936年8月加入中国共产党。
1938年2月,为了寻求救国真理,柴书林徒步40多天到达延安,进入抗日军政大学学习。通过这段时间的学习,柴书林认识到武装斗争在革命中的重要性,这也对他一生的革命实践起了重要的指导作用。12月,柴书林来到晋察冀边区,先后参加了“百团大战”和“黄土岭战斗”,历任晋察冀军区三分区二十团营政治教导员、团总支书记,晋察冀边区平北地委敌工部副部长。
抗战胜利后,柴书林任冀热察区察北专区专员,冀热察军区冀察军分区参谋长、副司令员。之后他又投身到剿匪战斗中,经常骑马率队出征,被人称为“马背上的专员”。他和察北地委、专署以及军分区领导共同指挥部队,集中优势兵力,给察北匪患以沉重打击,同时也挫败了国民党借土匪之名进占察北的阴谋。
1946年5月,中共中央发出了《关于清算、减租及土地问题的指示》,柴书林积极响应,动员父亲和亲友纷纷献地,晋察冀日报刊出了《地主家庭出身的共产党员、察北专署专员柴书林同志献地三千八百余亩》的报道,高度评价柴书林一家的义举。
1949年3月,柴书林离开家乡,带兵南下参加了渡江战役,先后任华北南下干部总队四支队副司令员,皖南军区池州军分区副司令员兼参谋长等职。