1917年6月23日，柯俊生于长春市，祖籍浙江省黄岩县。其父早年留学日本学习法律，深知教育对社会、国家和个人的重要性，依靠薪资，省吃俭用，供养七个子女均大学毕业。柯俊在长春初中毕业后，只身到沈阳念高中。

1931年，“九·一八”事变，他来到天津，先就读于河北省立第一中学。 

1932年9月，入河北工业学院高中二科。 

1934年，入河北工业学院化工系。 

1937年，“七·七”事变后，柯俊辗转入武汉大学化学系，得到著名文学家关文瑛、物理化学教授邬保良等的教益，奠定了他在这一学科的基础。 

1938年，毕业经姚南枝介绍到重庆国民政府经济部工矿调整处工作。

1938年7月～1944年11月，他先后在越南、缅甸、昆明和印度等地工作，深得当时经济部长翁文灏的信任。在昆明期间，他深受著名物理学家叶企荪的影响，建立了深厚的师生情谊。

1938年，毕业于武汉大学并获学士学位。

1942年11月～1944年11月，柯俊任经济部工矿调整处和资源委员会玉门油矿驻印度代表，在此期间他曾到塔塔钢铁厂实习。

1942年，派驻印度，曾在印度塔塔钢铁厂实习。

1944年12月，柯俊获英国帝国化学工业公司学术奖金，在英国伯明翰大学理论金属学系、剑桥大学晶体学系学习，并先后担任英国焊接研究院研究员、钢铁研究协会研究助理。[4] 

1944年，赴英国伯明翰大学。 

1948年，获英国伯明翰大学自然哲学博士学位，从事合金中相变机理的研究，并担任理论金属学系讲师享有终身任命。 

1951年，柯俊获得终身讲师任命。 

1953年8月，携妻挈子绕道印度，经香港返抵广州。] 

1954年，在北京钢铁学院（现北京科技大学）任教，先后任北京钢铁学院金物教研室主任、物理化学系主任、北京钢铁学院副院长。

1956～1959年，兼任北京大学物理系磁学及金属物理教研室主任叶企荪的副手。 

1956～1979年，任金属物理教研室主任、物理化学系主任，1979年任副院长，1984年至今任校长顾问、校学术委员会副主任等职。 

1974年，开创组织并亲自参加利用现代仪器研究考古金属文物进行中国冶金史的研究。 

1976年起，柯俊与褚幼义、贺信莱、余宗森等人开始进一步开展硼钢的研制，系统研究微量硼在钢中作用的机理，用径迹显微照相技术进行“硼在晶界非平衡偏聚的研究”。[7] 

1978年，他被评为北京钢铁学院先进教师，特邀参加北京市、冶金部和全国科学大会。

1980年，当选中国科学院技术科学部学部委员。

1983~1986年，柯俊、陈梦谪等人根据四川攀枝花矿产资源的特点，负责“六五”、“七五”钢中钒、钛研究攻关项目的课题。主要研究了微量的钒、钛对重轨钢、硅钢组织及性能的影响，阐明了微量钛在钢中的分布，氧化钛形成机制以及在钢中的作用等。同时，柯俊等人还完成了对纳米级析出相的萃取及鉴定方法。

1984年5月，加拿大麦克麻斯特大学授予他荣誉理学博士称号。

1990年，国家教委、国家科委授予他全国高等学校先进科技工作者称号。 

1991年，当选为中国科技考古学会理事长。 

1992年，亚太地区电子显微镜年会柯俊主持。

1994年，他参加起草的《改革高等工程教育增强中国国力和国际竞争能力》咨询报告，受到了国务院领导和国家教委的高度重视。

1996年承担了国家教委“面向21世纪高等工程教育教学内容和课程体系改革计划”项目中“材料类专业人才培养方案及教学内容体系改革的研究与实践”课题，同年在北京科技大学主持了冶金及材料工程拓宽专业的试点班。 

1990年，中国电子显微镜学会授予他第二届“桥本初次郎奖

1998年9月，在大连召开的第十次全国电子显微学会议上，郭可信分别向柯俊、朱静颁发了“钱临照奖

2000年10月至2003年9月，柯俊指导北京科技大学的973项目组抽出人员成立了一个专题组：新一代钢的薄板坯连铸连轧工艺基础研究及材料性能特征研究。主要成员有：柯俊、柳得橹、傅杰、康永林等以及研究生若干人，与广州珠江钢厂进行合作研究，实行了老中青结合、跨专业结合以及产学研结合的研究路线

2001年，柯俊再访英国专程去导师汉森教授墓前缅怀

2003年，“钢的组织性能综合控制理论及应用—薄板坯连铸连轧工艺基础及材料性能特征研究”获中国高等学校十大科技进展奖。2004年2月10日，柯俊作为第4 完成人，项目获教育部一等奖。

2016年6月23日，柯俊百岁华诞座谈会在北京举行。柯俊亲临会场，教育部、中科院等相关单位，亲朋好友、师生及校友代表等200余人出席会议。会议举行了“柯俊科技教育基金”揭牌仪式，“柯俊科技教育基金” 由柯俊个人捐资10万元，北京科技大学出资200万元作为启动基金，并募集社会资金，旨在奖励国内外在材料、科学技术史领域突出贡献的优秀学者。

2017年8月8日早晨7:30左右在北京中日医院仙逝，享年101岁。