1948年11月26日，蒋介石批准行政院长翁文灏辞职，提名孙科组阁。这样，孙科留下的立法院长的位置便理所当然地要由吴铁城来继任，蒋介石也表示同意。可出人意料的是，在孙科开出的组阁名单上，第一个就是“铁老”，要他当行政院副院长兼外交部长，并且向蒋介石表示，“非铁老同出不拜命”。蒋介石立即找吴商谈，希望他出任行政院副院长兼外交部长。权衡之后，吴铁城决定出任行政院副院长，这不仅因为其在历史渊源上植根于粤系并且与孙科关系密切，还在于其对政治前途认识不明，以为大局尚有可为，决定直接出马干它一番。

    吴铁城走马上任未久，蒋介石下野了。但蒋介石仍通过电话向孙科内阁发布指令，以孤立代总统李宗仁。对此，吴铁城甚不以为然，与蒋介石之间出现了意见上的分歧。

    为了取得美国政府的援助，与共产党“划江而治”，吴铁城与美国驻华大使司徒雷登进行了一次会谈，请求美国贷款。司徒对吴铁城说：“美国国会对中国政府内部不团结表示忧虑，如果蒋先生不出国，南京无从集中权力，因而和谈也就没有希望。”

    对此，吴铁城也有同感。他认为，必须尽快劝说蒋介石出国，才能将权力集中在李宗仁和自己的内阁手中。于是，他请曾当过蒋介石机要秘书的李惟果，到溪口转告蒋介石自己急切希望其出洋的意思。

    吴铁城没想到，他的这个建议，蒋介石非常恼怒，大骂吴铁城忘恩负义，几天以后，他逼迫孙科内阁辞职，而吴铁城的中央秘书长一职也被蒋介石以“国民党总裁”的名义下令撤销。

    国民党政权迁到广州以后，美国希望李宗仁在广州组成一个与蒋介石截然分开的政府，但蒋介石无意帮李宗仁保广东，暗中指挥从上海、青岛等地撤出来的军队往沿海一些岛屿驻防，吴铁城对此痛加责难。他质问国防部：汤恩伯的部队撤出上海后为什么不去广东而去福建?刘安祺的部队从青岛撤出后为什么不调到粤北而去了海南岛?从军力部署来看，国防部只准备守一些沿海岛屿，根本没有制定保卫华南的军事计划，简直是本末倒置。但参谋总长顾祝同告诉他，这些都是总裁亲自决定的，他也只好摇头叹气。

    这时，吴铁城的老部下、新闻局局长汪公纪从巴黎回国，吴对于这个坚定的反共分子的归来格外欣喜，将他安置在自己的家里，当晚就与他畅谈形势。汪公纪极力怂恿吴铁城到各国去游说政要，他强调说“人心息息相通，拿海外的人心来振奋国内的人心，再拿国内的人心去振奋海外的人心，互相桴鼓，必有可为。”吴铁城当时听了，默不作声。

    过了几天，汪公纪又来劝说：“铁老既有华侨为后盾，也应该及时把握，倘若能够亲自出马激起海外侨胞的向心力，登高一呼，必然能产生奇异效果。铁老有些老关系和老交情，写了十几年圣诞卡的朋友，现在也该认真地做一些正经的事了。”自从1939年开始，每年吴铁城都会向外籍友人寄卡片，都是这位汪公纪经手的，每次都要处理数百张圣诞卡，故而汪有此一说。这一次，吴铁城仍不做声，但想来心里也有一些活动了。不几天，吴铁城就对汪公纪说：“好吧，我们就出去走走，你替我写信呈报总裁。”

    1949年8 月，吴铁城在汪公纪陪同下，出访日本、韩国、菲律宾、印尼、香港。其中，日本之行最为重要。当时，美国对华政策白皮书已经发表，美国对蒋介石政权的失望、不满以及不支持的态度十分明显。但吴铁城心中明了美国的反共本质，仍然希望从美国人那里获得对国民党政权，尤其是对李宗仁广州政府的支持。在赴日之前，吴铁城还特地到台湾向蒋介石请示机宜，返回机场时又去看望了王世杰。王世杰的沉默不安与吴铁城的雄心勃勃成了鲜明的对照。王世杰显然对此行不抱太大希望，但困居台湾的国民党大小官员却巴望着吴铁城此行能有所收获，因而在台湾松山机场送行的简直成了人山人海。来送行的桂永清还递过来一本杂志，上面有三个惊心触目的大字“新希望”。吴铁城上飞机后慨然言道：“我们的任务是真大了!”

    吴铁城访日是以“中华民国政务委员”、“内阁阁僚”身份出行，虽是非正式的访问，却也引起了美国国务院的不满和冷遇。当时，坐镇日本的麦克阿瑟倒是吴铁城的好友，还特派了高级官员前往迎候。但就在飞机即将降落时，华盛顿忽来急电，命令麦克阿瑟总部不能有任何形式的招待仪式。麦克阿瑟无可奈何地把前去迎候的人悄悄撤离机场。吴铁城下机时，仅有国民党军事代表团团长朱占亮在此迎候。吴铁城遭到如此冷遇毫不灰心，反而颇为自信地说：“麦克阿瑟，不会不见我的。”果然，不久麦克阿瑟就约见吴铁城，不过联络人员事先就给吴铁城带来“不谈政治”的约定。

    尽管如此，麦克阿瑟和吴铁城会面的时候，他们还是极其亲热，无话不谈。一周之内，他们就见了三次面，并共进了一次午餐。麦克阿瑟向吴铁城提出，美国政府已放弃对蒋介石的支持，但对李宗仁仍寄予希望。麦克阿瑟对吴铁城作了如下许诺：“希望你们能够支持到圣诞节，那时我必将挺身来救助你们。”

    虽然麦克阿瑟极力反共，面对人民解放军在大陆的不断胜利和国民党的节节溃败，他“义愤填膺”，想助其一臂之力，然而他的力量十分有限，他所指挥的驻日美军仅四个师，而每师都面临兵额不足和武器配备不足的问题，因此驰援国民党只是空口说白话。倒是吴铁城经他一鼓励，却十分兴奋，回国后经台湾而去广州，就立即在自己的寓所召开会议，当众宣布麦克阿瑟对他的承诺。全场顿时掌声雷动，一个个原本沮丧不已的军政首脑们兴奋地起立鼓掌。但是国民党军队实在太不争气，没有守到圣诞节，连50天都未能维持。在广州失守的前几天，汪公纪去拜见吴铁城，见他绕室徘徊，怨声不断。

    吴铁城不顾年老体迈，为李宗仁政府如此奔走，必然引起蒋的不快。但工于心计的蒋介石并没有立即发作，在1949年7月，蒋介石飞到广州组建“中央非常委员会”时仍提名吴铁城任委员，力图用保住自己在国民党最高决策层次上的地位来换取党国“铁老”对自己的支持。然而“铁老”却对蒋介石的党国越来越失望，借财政税收等问题，吴铁城向受到蒋介石支持的阎锡山内阁猛烈开火。

    吴铁城尽管对国民党的内外政策提出批评，但对蒋介石仍是忠心耿耿。一位朋友问他：“那你今后作何打算?”吴铁城凄惨地苦笑说：“到不得已时，恐怕只有到台湾去再说了!”

    1949年底，吴铁城经香港到了台湾。次年3 月，蒋介石复任“总统”职，吴铁城被任命为“总统府资政”，继续辅佐蒋介石，苦心经营台湾孤岛。

    吴铁城不久奉命出使印尼，而那时，英、荷等国家已经承认了中华人民共和国，因此印尼对吴铁城等使节十分冷淡，只是碍于以往的交情没有给他闭门羹。1950年春，吴铁城又凭借过去奉命参与韩国独立运动的关系，专程访问韩国总统李承晚及朝野人士。这一次与原来的出访日本印尼两国截然不同，场面宏大、热闹非凡，使得饱受冷落的吴铁城兴奋不已。因为得知他要来访，韩国上下他原先主持韩国独立运动所结交的朋友全都出来捧场，他简直成了活动的中心。访韩期间，他恢复了中韩文化协会，以文化运动为名来加强台湾当局与韩国的反共纽带。

    5月，吴铁城又赶往菲律宾。他不但成了菲国总统的座上宾，而且四处拜访侨领，发表反共演讲。在离菲前夕，他又召开党务会议，国民党在东南亚各地的负责人云集一堂，讨论反共策略。在吴铁城离开的前两天。一些华侨来求字，他整天整夜地书写，简直达到了废寝忘食的地步。当时，有个随从向他求墨宝，他掷笔一言道出了天机：“我的字，怎么要得，我现在是在画符。拿了我的符，便永远是国民党，是反共最坚强的尖兵。”

    吴铁城为了反共真可谓不遗余力。从1950年到1952年，吴铁城恢复了“台湾国民外交协会”和“华侨协会总会”这两个极端反共的民间团体，企图博得世界“爱好民主自由国家”的援助，以加强“海外两千多万华侨的向心力”。随后，吴铁城又再组中菲、中泰等协会，以加强台湾同这些国家的联络。也许是吴铁城摆出一副“宝刀不老”的架势，大肆宣言“老当益壮”的反共精神所致，吴铁城在台湾的寓所俨然成为“海外各界人士的联络中心”。