1933年，陈铁军报考南京国民党军政部学兵队，面对满目疮痍的国土和日寇的猖獗，目睹国民党的腐败无能，陈铁军深为自己报国无门而郁郁寡欢。同年下半年，他终于在革命进步思想的影响下，报考十九路军军政教导队，并很快被任命为十九路军翁煦垣军部见习排长。冬天，随十九路军在福建开展轰轰烈烈的反蒋抗日运动。

    被称为“闽变”的反蒋抗日运动遭到了镇压，部队失散后，陈铁军在1934年冬回到了故乡。那年隆冬，陈铁军趁着朦朦夜色，与叶挺鹏、吴毓等浙南游击精英们在五岱山秘密汇合，并立即成立了8人组成的武装队伍。翌年春天，武装队伍逐步扩大，成立了浙南红军游击队，陈铁军从此在浙闽边区，开展了艰苦卓绝的游击活动。

    1936年9月，陈铁军率领的浙南红军游击队在平阳山门与中国工农红军挺进师会师。从此，浙南红军的游击战争取得了一次又一次的胜利，陈铁军率部开展的袭击驻北港区署保卫团、袭击驻八岱宫的宜山团防局壮丁干部队等战役频传捷报。

    1937年5月，中共闽浙边临时省委书记刘英与国民党闽、浙、皖、赣边区绥靖公署进行和平谈判，因陈铁军具备出色的军事才能和知识涵养，被任命为和谈代表。7日，在平阳山门畴溪与国民党举行首轮和平谈判中，陈铁军与国民党绥靖公署主任刘建绪进行了正面“交锋”。通过谈判，陈铁军以敏锐的洞察力当场识破了国民党代表企图通过谈判达到“收编”和把“政工人员集中到南京受训”的阴谋。这次谈判，终告失败。

    和平谈判一个月后，陈铁军在辗转战斗的青田战役中受伤被俘。国民党知道他是和谈代表，不敢贸然下手，将他解往衢州绥靖公署关押。“七七”事变后，国民党绥靖公署主任刘建绪的部队陆续调往淞沪前钱。7月25日，刘建绪将陈铁军释放，并亲自给刘英和时任闽浙赣省委书记关英、闽北特委书记黄道写信，交陈铁军带回，表示愿意与红军举行和平谈判，联合抗日，又将贺龙于前次谈判前劝谕刘建绪的信也交给省委，以表示诚意。

    8月24日，刘英委派陈铁军、吴毓、黄耕夫与国民党代表在温州申江旅馆举行第二次谈判，陈铁军以犀利的话锋痛陈利弊，终于达成谈判协议。9月15日，陈铁军又受命前往山门西山村参加最后一次谈判，通过一天一夜的唇枪舌战，终于获得成功，使两党达成一致抗日的共识。