1943年，廖运泽被任命为骑二军军长，进驻皖北。与日军多次作战，有力反击了日寇的多次扫荡，阜阳城始终未落敌手。

　　1944年4月下旬，据深入敌后侦察的参谋报告：“连日来发现敌人从徐州等地调集兵力，正在寿县、正阳关地区集结。”军司令部综合判断，认为当面敌人的主攻方向可能由颖上指向阜阳，即将发起进攻。廖运泽乃当机立断，立即改变部署，放弃涡河防线，集中主力于阜阳附近地区，全力保卫阜阳。

　　5月初，在兵力部署刚刚变更3天之后，日军10000余人果然在空军掩护下，由寿县、正阳关向颖上前沿阵地发起猛攻。战斗打响后，在前沿阵地的军特务团按计划边战边退，每撤离一个地方就将电线杆砍倒，不给敌人利用。日寇误以为廖军败退，骄狂至极，以其担任左翼掩护的骑兵部队长驱直入，尾追廖军。廖运泽一看敌军侧翼暴露，出击时机已到，立即下令骑八师全部出动，给孤军深入的敌人迎头痛击。骑八师是青海军队中的一支劲旅，全师5000余人，久经沙场，每人配有一骑、一枪、一刀，官兵性格强悍，擅长马上冲杀，作战勇猛，颇有中世纪蒙古骑兵的遗风。而日本骑兵的惯例，是下马战斗。廖运泽针对此状况，在电话中指示骑八师，要乘敌人下马之际发起攻击，来个货真价实的“下马威”。当骑八师在颖上境内的十八里铺附近与日军前哨部队遭遇时，乘敌下马尚未集结之时，旋风般地冲向敌阵，居高临下马踏刀砍，200余日骑兵来不及还击就成了刀下之鬼。死里逃生者仅20余骑，而骑八师几乎没有伤亡。敌人的大炮是用马驮的，遭袭后，马匹被击毙，火炮只能靠人拉着走，狼狈不堪。

　　气疯了的日寇立即组织反扑，在3架飞机和数门大炮的掩护下，向廖运泽所率军队发动猛烈进攻。前锋部队且战且退，与敌周旋。日军害怕重遭骑八师袭击，就加强了左右两翼兵力。这时驻守在阵地右翼的阜阳县三个自卫中队贪生怕死，在中队长带领下临阵逃脱，以至廖军右翼空虚，日军乘机集中兵力包围骑八师，疯狂进行报复。骑八师毫不威惧，组织力量反复冲杀，战斗十分激烈。廖运泽急令已撤到阜阳尤家花园的军特务团火速回师参战，又令作为军预备队的一个团紧急驰援。日军兵力被分散，骑八师从左翼突破包围撤出阵地。这场厮杀，骑八师伤亡不少。敌军欺廖运泽既无空军，又没有防空武器，肆无忌惮地进行低空扫射，狂轰滥炸。愤怒至极的战士端起机枪，对空还击，1架低空飞行的敌机油箱被打中起火，坠毁在中岗村附近。日机6名机组人员跳伞后企图负隅顽抗，被包围的军民全部击毙。由于广大官兵的浴血抵抗，激战五天，消耗了敌人大量有生力量，日军才推进到距阜阳10余里的地方。此时，阜阳军民和调集来的各路援军早已严阵以待，准备在阜阳城下和日军决一死战。为严肃军纪，廖运泽一方面命令将3个临阵脱逃的自卫队队长就地正法。另一方面，对英勇杀敌、不畏牺牲的骑八师进行表彰。当廖运泽来到骑八师，面对沉浸在一片悲痛之中的全师官兵，面对老泪纵横的马师长，廖运泽也止不住潸然泪下。他勉励大家化悲痛为力量，誓和日本法西斯血战到底，为阵亡将士报仇，并传令全军学习骑八师，奋勇杀敌。

　　正当阜阳守军严阵以待，准备与敌展开主力决战之际，敌人突然向后撤退。廖运泽当即令骑马八师和军特务团乘胜追击，收复颖上县城、正阳关等地，敌人只好舍弃皖北向寿县方向逃窜。

　　在这次作战中，军民关系处理较好。战前，廖运泽和当地专员、县长们商量，动员城内市民向农村疏散，免遭敌机轰炸。将带不走的财物妥为安置，门上贴上封条。只要阜阳不失守，保证做到“原封不动”。同时严令城防部队，昼夜巡逻，防止坏人趁火打劫。战斗结束后，市民陆续回到家中，发现封条未动，财产未受损失，都感到喜出望外，盛赞廖军长治军有方。

　　阜阳保卫战的胜利，加上八路军、新四军在敌后频频发动攻势配合正面战场作战，迫使日军龟缩在津浦一线的据点里，无力对皖北、皖西采取大规模的军事行动。从此，皖北驻军变被动为主动，伺机打击敌人。在平汉线上国民党军队节节败退之际，阜阳保卫战的胜利大大鼓舞了人心，增强了民众抗日信心。当时各报均在头版头条显著位置报导了这一胜利消息。