猛攻日军第5师团背侧，庞炳勋部将士更是用命地从阵地反击，日军绝对没有想到中国军队竟然会进行这种内外夹攻的拼命打法。
因此，在1938年3月14日到18日的临沂决战中，日军第5师团遭到极其惨重的损失，造成日军部队已经无法继续支撑作战，只有先撤退回莒县以困守待援。临沂之战得胜，它砍断了津浦路北段日军的左臂，促成了之后在台儿庄会战中，为李宗仁围歼孤军深入台儿庄的矶谷师团提供契机。
1938年3月中旬，临沂和滕县同时告急时，蒋委员长也认为在战略上有加强第五战区防御兵力的必要，调第一战区汤恩伯第20军团和孙连仲军团星夜增援。
汤恩伯第20军团是国军精华，军团辖两个军，第52军关麟征，第81军王仲廉。共计五个师，第2师郑洞国、第25师张耀明、第4师陈大庆、第89师张雪中和第110师张轸。
孙连仲第二集团军，名义上辖两个军，第30军田镇南、第42军冯安邦。
但在山西娘子关保卫战后，42军所剩只一空番号而已。该集团军实际可参加战斗的部队只有三个师，第27师黄樵松、第30师张金照、第31师池峰城。
汤恩伯是国民党中央军精锐，擅攻；孙连仲是西北军，擅守。
于是，李宗仁安排孙连仲守台儿庄，而汤恩伯则退入了抱犊崮东南的山区，待机出击。
1938年3月21日，李宗仁电报蒋介石、何应钦、徐永昌，关于颁发作战命令如下2点。
1：临城、峄县、韩庄间之敌约步兵三联队、骑兵一联队、炮兵一联队、坦克车五六十辆，自14日以来在界河、滕县、南沙河及临枣各地与川邓集团（第22集团军）及王军作战。现分部南进，已达韩庄及峄县附近，其主力似尚在临城。
2．第5战区战区以收复鲁中广大地域之目的，以一部在运河之线取攻势防御姿势，以主力由峄县东南方及东北方山地侧击南下之敌，聚歼于临枣支路与韩庄运河间地区。
按照以上作战目的与计划，战区命令汤恩伯第二十军团集中主力于峄县东侧及枣庄东北方山地，击破峄县之敌，向临城、沙沟两地附近侧击，“压迫敌于微山湖东岸而歼灭之”。
一部集结于台儿庄北方地区，准备协助对峄县及其西北地区之主力作战。
李宗仁命令孙连仲第2集团军以一部在侯新闸以西运河南岸防御，待机渡河北进，主力控制于贾汪附近及荆山、茅村镇间。张自忠第59军在费县集结整顿后，乘虚向滕县南北地区与由南阳镇附近河之第3集团军部队呼应，截击南下或北退之敌，对泗水方面自行警戒。
孙桐萱第3集团军应超越济宁南北地区，再向兖州、邹县间及界河、官桥间与张自忠第59军及临城以南之攻击部队呼应，袭击敌之侧背，并阻止敌增援或截敌归路。命令庞炳勋第三军团迅速扫荡汤头附近之敌，以一部向莒县方面追击，主力集结于汤头附近布防，对沂水、蒙阴方面自行警戒。
3月18日，日军矶谷师团濑谷支队攻陷滕县后，当晚攻占临城，以一部沿津浦线南下，于20日攻占韩庄，企图直犯徐州，遭到布防于运河沿线的我第52军郑洞国第2师的阻击；另一部福荣大佐的第63联队沿临赵墩铁路于18日攻占枣庄，20日攻占峄县城，矛头直指台儿庄
3月20日，日军矶谷师团借攻克滕县之威，在飞机的掩护下，集中4万人，配以坦克、大炮，向台儿庄发动了猛烈的进攻，企图一举攻占徐州。
3月23日，日军由枣庄南下，在台儿庄