光绪二十七年(1901年)，有一俄国人来津在戏园卖艺，他在报纸上登出广告，自称世界第一大力士，打遍中国无敌手。霍元甲见了广告，并听说俄国人还当场信口雌黄，侮蔑中国人无能，极为气愤，当即邀怀庆会馆主人农劲荪和徒弟刘振声前往戏园，见到俄国大力士在台上吹嘘自己是“世界第一大力士”，“病夫之国”如有能者，可登台较量。霍元甲在台下哪里还坐得住，不顾众人劝阻，一个箭步，气宇轩昂地跳上戏台，开门见山地说：“我是‘东亚病夫’霍元甲，愿在这台上与你较量”。此时翻译将霍元甲生平来历告知俄国人。此俄国人闻知霍元甲威名，不敢怠慢，连忙将霍元甲让进后台，霍元甲当场质责俄国人：“为何辱我中华?”并提出三个条件：一是重登广告，必须去掉俄国人是“世界第一”的说法;二是要俄国人公开承认侮辱中国的的错误，当众赔罪谢过;否则就是第三个条件：我霍某要与之决一雌雄，并命其当机立断，色厉内荏的俄国力士哪敢出场比武，只好答应了前两个条件，甘愿登报更正和公开承认藐视中国人的错误，从而灰溜溜地离开了天津。

　　宣统元年(1909年)，英国大力士奥皮音(也称奥比音)在上海登广告，辱我“东亚病夫”。霍应友人邀赴上海约期比武。慑于霍元甲拳威，对方以万金作押要挟，元甲在友人支援下，答应愿出万金作押。对方一再拖延，元甲在报上刊登广告，文曰：“世讥我国为病夫国，我即病夫国中一病夫，愿与天下健者一试”。“并声言”专收外国大力士，虽铜筋铁骨，无所惴焉!霍公之声威使奥皮音未敢交手即破胆而逃，连公证人，操办者也逃之夭夭。

　　1910年6月1日，霍元甲在农劲荪等武术界同仁协助下，在上海创办了“中国精武体操会”(后改名精武体育会)。孙中山先生赞扬霍元甲“欲使国强，非人人习武不可”之信念和将霍家拳公诸于世的高风亮节，亲笔写下了“尚武精神”四个大字，惠赠精武体育会。1910年9月，日本柔道会会长率十余名技击高手与霍较艺，败在霍的手下。日本人奉以酒筵，席间见霍呛咳，荐日医为治，霍公一生坦直，不意中毒于9月14日身亡。终年42岁。

　　霍元甲逝世后，当时精武会弟子和上海武术界爱国人士为霍元甲举行了隆重葬礼，敬献了“成仁取义”挽联，安葬于上海北郊。转年，由弟子刘振声扶柩归里，迁葬于小南河村南。上海精武会由元甲之弟元卿、次子东阁任教。各地分会相继分起，十数年后，海内外精武分会达43处，会员逾40万之众。

　　有传说霍元甲被日本人下毒药害死之后，他的爱徒陈真替他报仇。这个传说在1960年代末70年代初首次被李小龙搬上银幕(电影《精武门》，李小龙演陈真)。但其实历史上并没有“陈真”这个人物。