从1944年5月26日起,一个月来,日军主帅横山勇指挥的八个多师团攻城略地,如入无人之境。决定只动用68、116两个师团进攻衡州,把其他六个师团摆在衡阳外围阻截援军,至于攻占衡阳城的时间,横山勇认为,三天足矣。
6月26日,日军对衡阳市发动了第一次大规模攻势。
日军两个师团顺利完成了对衡阳城的钳形包围,68师团在南面,116师团在西面同时发动强攻,一个炮兵联队共60余门野战炮协同40架轰炸机对衡阳城内外阵地开始进行饱和轰炸,一时间城内外浓烟蔽日,墙倒屋塌,熊熊烈焰燃烧了半个城区。
张家山阵地是确保衡阳西南的重要防线之关键所在,预备10师师长葛先才设在五显庙的师指挥所距离张家山主阵地仅700米,距离肖家山30团团指挥所仅300米。日军三次攻击,均以惨败收场,国军阵地前躺倒了上千具尸体。
日军68师团师团长佐久间为人中将在望远镜中看到三次进攻的惨败,不禁大为恼火,对师团参谋长原田真三郎大佐说:“原田君,带上几个作战参谋,跟我上前沿看一下,我倒要看看,他们的工事是怎么构筑的。”在国军猛烈的爆炸中,佐久间为人中将和原田真三郎大佐被击中,侦察的68师团司令部参谋人员和57旅团各部队长非死即伤,损失惨重,这次炮火急袭使日军68师团的指挥系统瘫痪