1917年奥尔巴赫出生在纽约的布鲁克林，他的父亲是一名13岁时就移居美国的俄罗斯人，当地闻名全国的街头篮球令他开始热爱上了这项诞生不久的运动。之后他成为了高中联赛的明星，并在大学四年级成为了美国大学联赛的得分榜亚军。此后不久他开始了篮球教练的生涯，并在1947年仅仅30岁时就执教华盛顿国会队在NBA的前身美国篮球联赛第一年的比赛中获得冠军。但接下来的三年他因为执教战绩不佳胜率也跌破五成而选择辞职，之后他在一支叫作黑鹰队的球队逗留一年就加盟了凯尔特人队。

　　在1950年，他在选秀大会的第二轮选中了一名叫查克·库伯的非洲籍美国黑人球员，这是NBA历史上第一位入选NBA的非洲籍黑人球员。实际上他还是首位派出五名黑人球员担任球队首发和首次雇用黑人教练（50大巨星之一比尔·拉塞尔）的人。此外他在比赛引入了第六人的战术思想也被后世广泛传承。

　　在16年的凯尔特人队执教生涯中，他以强硬的手腕和出色执教能力帮凯尔特人队赢得了九个总冠军，其中包括1959-1966年的八连霸，他的历史总战绩为938胜479负，这一总胜场数直到1994-95赛阶才由兰尼·威尔金斯打破，另外他在季后赛取得了99胜69负的战绩和九届总冠军的成绩，后一荣誉在2001-02年才被“禅师”菲尔·杰克逊追平。在1966年48岁的奥尔巴赫正式辞职转任球队总经理一职，拉塞尔接替他成为球队教练。“他们说当你发现你的球队比赛输的越来越多的时候就证明你已经老了，”奥尔巴赫在新闻发布会上发表辞职演说时表示，“不过我很难接受输球这个事实，我的状态越来越差，已经不习惯执教这支球队，现在是我离开的时候了。”

　　奥尔巴赫似乎天生就具备挖掘和培养巨星的天赋，他在1956年还担任教练时用一个第二轮的选秀和队中另外两名球员获得了拉塞尔，勾建了之后王朝的基石，并在当季就赢得了总冠军。在担任经理的时期，他在1978年选中了拉里·伯德，在1980年则用他们的状元签加另一个首轮选秀权换到了未来两名“50大巨星”成员罗伯特·帕里什和凯文·麦克海尔（用获得的第三号选秀权挑中），在1983年他用日后几乎报废的中锋里克·罗比换来了王朝基石丹尼斯·约翰逊。

　　在前肯塔基大学里克·皮蒂诺1997年接任凯尔特人队教练一职之后，奥尔巴赫与其产生了矛盾，之后他暂时离开了球队。不过在2001年8月他又回到凯尔特人队担任球队副总裁至去世。在2005年奥尔巴赫的身体状况已经因为吸烟过度和年龄带来的机能衰竭而变得相当糟糕，他还因此而在当年住院接受治疗并一度出现昏迷，但他最后还是坚持了过来。

　　然而年事已高的奥尔巴赫终于还是没能将生命延续太久，心脏病最后还是夺走了他的生命。然而他标志胜利的雪茄和“认为我会输掉比赛的人终将为此付出输掉比赛的代价”的强硬斗志依然值得人们永远铭记。NBA的“最佳教练奖”也是以他的名字命名。