1952年11月，徐介藩被黄埔学长、志愿军原副司令员陈赓选中招回国内，赴哈尔滨协助陈赓筹建中国人民解放军军事工程学院。在陈赓看来，徐介藩是个留学苏联的空军专家，所以，一开始就要他担任空军工程系主任。这时，由周恩来亲自批准回国的唐铎也分配到哈军工工作。考虑到唐铎在苏联空军服役近30年，又是航空兵器专家，陈赓权衡再三，亲自找徐介藩做思想工作，调整他和唐铎的工作岗位。徐介藩坚决服从了组织上的安排，调任装甲工程系任主任。在军事工程学院创院的艰难时期，徐介藩始终保持着一位共产党员艰苦奋斗、严于律己的作风，拒绝搬进为他准备的高档楼房，坚持住在两间仅24平方米没有供暖设备的背阴平房里。为了培养装甲兵工程技术干部，徐介藩制定了严格管理、从严治教的方针，提倡理论和实践并重，技术学习和战术学习并重。不久，为了发挥徐介藩在航空方面的特长，中央军委决定调他出任北京航空学院院长，但是他已决心将全部的精力都投入到了装甲工程系的工作当中，于是婉言谢绝了组织上的安排。

1955年9月，中国人民解放军首次实行军衔制度。虽然徐介藩长期在苏联工作，但他是大革命时期的老党员，资历深，所以他的军衔经过陈赓的亲自评定，拟授少将军衔。方案报上去以后，由于全军当时符合授少将军衔条件的人很多，而最终的名额只有800多名，所以徐介藩最后只被授予了装甲兵大校军衔。不少人认为像徐介藩这样的黄埔三期的老革命，仅仅授予大校军衔实在是委屈他了。但是徐介藩并不在乎这些，他觉得自己旅居苏联20多年，为祖国为人民做的事情实在是太少了，军衔高点低点都无所谓，关键是勤勤恳恳的为党和人民再立新功！

1956年，徐介藩与林彪的前妻、曾经旅居苏联的张梅结为伉俪，他们之间相敬如宾，即使对林彪的女儿林小琳，徐介藩也是视如己出，关怀备至。

1958年5月，哈尔滨军事工程学院装甲兵工程系筹建坦克科学技术研究所，11月，徐介藩兼任主任，赵敬璞兼任政委。徐介藩是黄埔三期出身，比林彪还早一期，但是他在同事、学生面前平易近人，从来不摆老资格。他工作中兢兢业业，生活上艰苦朴素，业余时间刻苦钻研专业知识，成为了哈军工老同志当中“活到老，学到老”的典型。徐介藩在苏联专家的帮助下，领导装甲兵工程系的师生和员工发扬我军艰苦奋斗的革命传统，最终研制成功了具有世界先进水平的水陆两栖坦克，为我军装备的正规化、现代化做出了重要贡献！