国民党的反共高潮，直接助长了日寇的侵略气焰，1941年4月12日，日寇在从内黄到清丰、濮阳、浚县、滑县一带的沙区（亦称黄泛区）内，开始了极其残酷的毁灭性大“扫荡”。时值春末，整个黄泛区风沙弥漫，一片昏黄。日寇以杀光、烧光、抢光的极其残忍的手段，妄图彻底摧毁沙区，将共产党领导的抗日武装力量挤走。张玺曾在自己的日记中记载日军对沙区的扫荡是“悲惨之状，目不堪睹”。
在这次反扫荡中，张玺与杨得志一直坚持在沙区前沿，指挥主力部队和地方武装与敌激战，消灭日、伪军各一部。在残酷的斗争形势面前，张玺感到，在整个战争形势恶化，抗日根据地被日、伪、顽蚕食、分割、封锁的情况下，要把冀鲁豫抗日根据地巩固和坚持下去，只有紧紧依靠党，依靠人民群众，以斗争求生存，在斗争、生存中求发展。他始终战斗在抗日第一线，带领全区军民“以牙还牙，以血还血”，以强烈的民族义愤和阶级感情，经受着抗日战争最黑暗、最艰难、最残酷和最严峻的考验。