甲午战争后，日本强迫清政府签订《马关条约》，中国的台湾及澎湖列岛被割让于日本。当时日本为了迅速平定台湾，采取了剿抚并用的手法。但前三任台湾总督，桦山资纪、桂太郎、乃木希典都没能控制住台湾，在乃木希典看来，日本统治者得台得不偿失，军费开支每年高达700万日元，除了台湾的税收之外，日本还从甲午战争中国的赔款中拿出1千2百万对台湾进行军费补助。庞大的经费开支使日本不但没有从台湾的割让中得到实际利益，反而成了日本的沉重包袱。萌生出卖台湾的构想，并说动了当时的首相松方正义。经过一系列幕后活动，初步决定以1500万法郎（一说一亿日元）把台湾卖给法国。 1898年，伊藤博文重新成为日本首相，在他主持召开的军政要员会议上，乃木希典正式提出了他的卖台论，日本外务省也坚决支持日本的卖台主张。儿玉源太郎起立发言反对说：“我认为，台湾系日本南部的屏障，军事价值甚大，不能卖给法国。当初为了得到台湾，我们费了那么大的力，死了那么多的人。如果将台湾卖给他国，从长远看划不来。至于乃木总督提到台湾不好治理的问题，我觉得不是台湾不好治理，而是我们管理的官员无能。如果首相觉得政府中找不到治理台湾的总督，我愿前往。”儿玉到任后，立即在台湾推行了一系列新的殖民措施：在军事上，儿玉源太郎残酷镇压台湾同胞，他实行了保甲制度，推行连坐法。杀人无数。

        但是，另一方面，儿玉又采取“皮鞭之处”加“糖”的怀柔政策。对老百姓喜欢的陋习吸鸦片，从清肃改为放宽至“专卖”，又搞“飨老典”的敬老活动，“扬文会”重视读书经商精英的表彰活动等。 在经济上，儿玉源太郎实行了食盐、樟脑、烟酒、鸦片等专卖制度，大肆剥削台湾民众。为了在台湾农民身上榨取更多的油水，儿玉源太郎又颁布了《台湾地籍规则》、《土地调查规则》，并组织大批人马对全台土地重新进行丈量。通过这次丈量，台湾耕地面积比原来多了一倍，日本对台湾的土地税收入也因此翻番。 最令日本当局满意的是，儿玉源太郎在台湾疯狂地掠夺各种资源、物资，使日本大获其利。那时，食糖是十分紧俏的物资，价格有时会一日数涨，台湾的土壤和气候很适合种植甘蔗，儿玉源太郎便强迫台湾农民种植甘蔗。每年甘蔗丰收后，日本殖民官吏指挥蔗农将其制成粗糖，再用低价全部收购，然后运往日本进行细加工，使糖的价格成倍增长。台湾粗糖源源不断地运往日本，既让日本当局赚了大钱，又解决了日本国内许多失业人员的就业问题。 儿玉源太郎在台湾推行的一系列殖民政策，使日本当局尝到了甜头，再也没有人提起要将台湾卖给他国的事了。儿玉在台湾任期长达8年多，几乎是历任总督中最长的，1904年日俄战争爆发后，儿玉源太郎虽仍兼任台湾总督，但已回军部任职，与他同时上任的民政长官后藤新平成为台湾实际的统治者，日本政界评价儿玉后藤开创了一个时代，奠定了台湾殖民统治的基础。