组合数学是徐利治从事数学研究最早涉及的学科，他最初发表的4篇论文都是涉及组合数学的。后来他用组合分析方法研究概率论和高次零差的渐近展开，取得有用成果。

60年代中期徐利治研究互逆变换问题，提出寻求一类对称反演公式的一般方法。1965年他反复研究美国数学家H.W.高尔德(Gould)的多篇学术论文后，发现可以用一种级数反演公式概括高尔德的一系列反演关系，使其每个公式都成为这一新公式的特例，于是便写信与高尔德进行讨论，开始了两人的合作研究。1973年他们联名发表了《若干新的反演级数关系》一文，提出了"高尔德徐氏反演公式"。

这是中美关系正常化开始后发表的第一篇中美学者合作的论文，引起人们的广泛注意。第二年徐利治又连续在国外发表两篇关于对称反演的论文摘要，分别对级数交换和积分变换的对称反演公式作了论述，受到国外同行的重视。美国数学家D.E.克努什(Knuth)等人合编的《算法分析的数学》(1981)第一章就介绍了徐利治1965年发现的反演公式，这表明他在国际组合数学界具有相当的知名度。

60年代后期，非标准分析问世。国内外有些学者认为它的意义不大，徐利治却敏锐地看到它的应用前景。他除了鼓励年轻人从事这项研究外，还以此为工具，于1983年建立起广义的麦比乌斯(M?bius)反演理论，得到了普遍的反演公式。

把离散数学中的广义麦比乌斯-罗塔(Rota)反演公式和微积分基本定理以及卷积型积分方程的求解公式都作为特例包括进去，为非标准分析这一新兴学科找到新的应用领域。

作为一名数学家，徐利治的研究范围较宽。他兴趣广泛，善于创新，人至耆年，仍不断吸取新的思想，拓出新的研究领域。1980年他提出了"双向无限"的原则，刻划数学无限过程的矛盾本性，从而在西方数理哲学界"潜无限"与"实无限"的传统争论之外，提出解决问题的新方案。1985年他又首次提出数学抽象度概念与抽象度分析法、为数学真理性与抽象性研究独辟计量刻划的新途径。

徐利治多方面的'成就与他早年喜爱哲学有关。他一直应用哲学思想指导科学研究，坚持辩证唯物主义方法论，分析数学概念发展的矛盾转化过程，从个性中寻求共性，常常高屋建瓴地从个别概念中抽象出新的普遍概念，从特殊结论中提炼出一般结论。他熟谙阿达马的数学发明心理学和G.波伊亚(Pólya)的解题方法论，坚信数学的客观性，提出数学直觉在数学研究中的基本作用，首次归纳出关系映射反演的一般原则，详细论述了悖论与数学基础问题的关系。他多次倡导数学方法论对数学研究的重要意义，第一个在国内开设了数学方法论课程。他的专著《数学方法论选讲》1983年出版后即刻成为该项研究的经典性读本。1988年他又担任了《数学方法论丛书》主编，与合作者出版了《关系映射反演方法》、《数学抽象方法与抽象度分析法》等专著。时至今日，数学方法论已有众多研究人员和若干分支体系，成为研究数学研究本身的"数学学"。