光绪三十一年(1905年)，升任总理南北洋海军兼广东水师提督萨镇冰，担负起重组北洋水师、复兴海军的重任。光绪三十二年(1906年)，中国首次派遣海军学生赴日本留学，烟台海校就有24人入选，居各海军学校之首。同年，又有两人被选派到美国留学。此时，萨镇冰已成为中国海军的第一号人物，总理南北洋海军。在他的建议下，清政府决定扩大烟台海校的办学规模。
光绪三十三年(1907年)，烟台海校的新校在金沟寨村以南建成，正式命名为“烟台海军学堂”。新校三面环山，东面临海，距离烟台港口约7华里，校园占地90余亩，校内建筑中西结合。萨镇冰对新校建设十分重视。新校落成之际，正值烟台海校第二届学生毕业，萨镇冰亲自监考，还为学校题写了“才储作楫”四个字，寄托对学校的厚望。后来，这4个字被制成匾额，悬挂在学校的屋梁上。
光绪三十四年(1908年)，萨镇冰奏陈清政府今后每年派舰访问华侨较集中的南洋各地抚慰侨胞。清政府采纳萨镇冰建议，由他率“海圻”、“海容”二舰前往新加坡、印尼、越南等地抚慰侨胞，南洋各地侨胞甚多，闽籍华侨尤为集中，这是近代中国政府要员宣抚华侨的始端，萨镇冰也在华侨中广为传颂。
宣统元年(1909年)，萨镇冰被委为筹备海军大臣和海军提督，他上任后合并了过去分裂的南北水师，建立起统一的指挥系统，下分巡洋、长江两舰队，还统一了官制、旗式、军服、号令，这是中国近代海军第一次实行的科学管理。宣统元年(1909年)8月24日至9月24日，载洵、萨镇冰等人从北京出发，巡视了广东、福建、浙江、江西、湖北、安徽、直隶、山东、江苏等9个沿海(及长江)省的海防情况，考察了海军学堂、船坞，并参加了象山辟港典礼。10月16日，载洵、萨镇冰等乘船赴欧洲考察海军，廖景方、曾以鼎等23人随同前往英国留学海军。载洵一行先后访问了意大利、奥地利、德国、英国的海军学校和船厂，并向意大利订购炮舰1艘，向奥地利订购驱逐舰1艘，向德国订购驱逐舰3艘、江防炮舰2艘，向英国订购巡洋舰2艘。宣统二年(1910年)8月24日，载洵、萨镇冰乘船前往美国、日本考察海军，参观了船厂及其他海军机构，向美国订购巡洋舰1艘，向日本订购炮舰2艘。
民国初年
宣统三年(1911年)10月爆发了武昌起义，被清政府指令率舰队前往武汉江面炮轰起义军，驻刘家庙及武汉、九江之间。10月17日，在海军炮火轰击下，革命军占领的武昌刘家庙车站失守。当时革命军虽已得武昌，而清军与革命军仍在对峙。革命军政府都督黎元洪，早年毕业天津水师学堂，又曾在威海北洋舰队当过兵，与萨镇冰有师生之谊。黎元洪致函其师萨镇冰，情真意切陈明大意，信件先后通过海军起义军官朱孝先，瑞典籍红十字会人员柯斯递送。在给各舰管带的信中写道:“汉族存亡之机，在诸船主一臂之助。孰无心肝，孰无血诚，孰非炎黄子孙，岂肯甘为(满族)奴隶，残害同胞?请勿犹豫。”但萨镇冰无动于衷。在萨镇冰看来，革命是清廷的叛逆，当然也是他的敌人。10月31日，清军见民军节节抵抗，难于长驱直入，冯国璋(冯国璋当时为清朝第1军总统，即军长)竟决定纵火烧房，使民军无存身之处。清军虽使用大火把民军逼出汉口，却激起了全国民众的强烈愤慨。广大海军官兵本来就不清政府的黑暗统治，不愿为清廷打民军。
水兵有起义倾向，当冯国璋下令舰队炮击武昌时，官兵们把炮弹都打到江堤边和稻田里。在配合陆军攻击汉阳时，也仅派出“海容”舰及几条舢板和汽艇应付。海军的消极厌战，很大程度上影响了陆军的作战。当时，英国驻汉口领事朱尔典在给英国外交部的电文中就明白写道:“水师提督萨镇冰所统之舰队，自始至今对于清军行为殊淡漠。”
萨镇冰目睹清政府摇摇欲坠，各省纷纷独立的局面，既不愿为清廷殉葬，也不愿公然易帜加入革命军，对黎元洪回信说:“彼此心照，各尽其职。”黎元洪收到信后又致书萨镇冰:“吾师抱救国之卓见，熟察现势，必知专制政体之必亡。”萨镇冰不想做清廷的罪人，又不愿当那为后人唾骂的历史罪人，于是选择了一条中间的道路。在此情形下，萨镇冰乃以有病需医为由离开舰队，搭乘英商太古公司轮船赴沪。
宣统三年(1911年)11月1日晚，萨镇冰与萨镇冰下级告别，乘坐的“江贞”号军舰发出信号灯:“我去矣!以后军事，尔等舰艇好自为之。”弃舰改乘英国商船前往上海。他以离舰出走向部下暗示对起义的默许，从而解除了各舰官兵的顾虑。11月袁世凯组阁，任萨镇冰为海军部长。11月2日，由副官汤芗铭等以他的名义命令军舰退向九江，而汤芗铭等于中途反正，参加革命。1912年，他从教就任吴淞商船学校校长。1913年，萨镇冰督办淞沪水陆警察事宜。1914年任北洋政府陆海军大元帅统率办事处办事员。1916年，黎元洪继任大总统后，他又出山任海军临时总司令、海军总长、粤闽巡阅使。1917年任海军总长、海疆巡阅使。
1918年，冯国璋成为大总统，他入阁任海军总长、任福建清乡督办。1919年再任海军总长。1919年5月9日，国务总理靳云鹏在直皖两系军阀争斗中难能为继辞职，5月14日，总统徐世昌请海军总长萨镇冰暂代国务总理。直皖战争爆发后，张作霖入关助直，萨镇冰感到他的看护内阁使命已经完成，1919年8月9日，辞去本兼各职，仍留任海军总长。
1921年5月14日，他卸了海军总长职务，遂回闽任福建省清乡督办。1922年10月15日，北洋政府任命他为福建省高官、福建军务会办，期间聘黄乃裳为高等顾问。1922年11月31日解职。1923年2月，军阀王永泉等策动毛一丰掀起“倒林(森)拥萨”风潮，他由福州南台中洲海军公所迁入城内高官公署，担任了“自治”高官。1926年7月，广东革命政府在国共合作下举行北伐。1926年9月，何应钦率东路军入闽，北洋军阀孙传芳系的福建陆军第一师师长张毅率残部退败漳州，见福州守军单薄，企图夺取福州。
救灾施善
1926年11月30日，张毅部窜至乌龙江南岸，受到陈季良将军兵舰沿江截拦，张毅部已渡江的两千多人缴械，张毅仓皇退守南港(今南通镇)瓜山。兵痞出身的小军阀张毅把吃败仗的怨恨统统发泄在南港百姓身上，一路烧杀、抢掠奸淫，使南港九十三乡哀鸿遍野、民不聊生。“是时，庐舍田园，焚毁蹂践，一无完土。男女死六十余人。其逃入山中者，坑谷皆满”。“自古灵瓜山至于新岐，横纵二十里，炊烟断绝”。其中，东厝街(今南通街)遭焚毁，情况尤为惨重。此时，萨镇冰刚辞去高官职务，救灾已不是他的职责。他见南萨镇冰书法港百姓在水深火热中，不顾年近古稀，奔赴南港，组织发动民众救灾，重建家园。他以“三山野老”的身份，邀请福州各界人士与商绅开会，详细介绍南港兵灾状况，发起成立“福州兵灾救济会”，筹集资金六万余元。他亲自督办救济事宜，购建材、买粮食，置衣被、买药品，运到南港，及时救济灾民。随后，萨镇冰发起成立“南港兵灾善后会”，各界人士与海外华侨踊跃损款。萨镇冰把募集到的十余万元善款用于重建东厝街与灾民住房。东厝街数十家店铺经张毅兵痞洗劫焚毁后，一片焦土。萨镇冰在这片废墟上建起了几十间店铺，用花岗石铺就了二百多米的街道。他又盖起了十几幢双层直筒型木瓦房(当地人称火广厝)，使无家无归的灾民得到安顿。
1926年12月，国民革命军攻占福建，萨镇冰卸高官职，驻南港分发粮食、财物赈济灾民，此后主要从事社会公益和慈善事业。1927年至1929年三年中，萨镇冰住祠堂，睡公所，不分昼夜从事赈灾工作。南港九十三乡百姓称萨镇冰为救苦救难的“萨菩萨”，为感念他的功德，人们在“苏州桥”北头建“萨公长寿亭”来纪念。
1933年，萨镇冰赴闽西、闽东，并在龙岩、霞浦、南平等地督导灾民建屋、铺路、修路、筑桥、筑堤、劝耕、施赈。在福州倡设孤儿院、工艺传习所、收容所等安置孤儿、残疾者，提倡医生义诊，接受福州开元寺住持宝松和尚等聘请，为佛教医院董事长。他函电海外闽侨募集巨资，佛教医院建成后以济世救人为本，施医赠药，僧尼、居士及贫民受惠存活者甚众。
晚年时期
1933年，萨镇冰支持和赞助李济深等的福建事变(十九路军闽变)，担任在福州成立的中华共和国人民革命政府延建省高官。1934至1935年居福州，主持修编《雁门萨氏家谱》。1935年，他到了山西雁门，访萨氏祖籍地。
萨镇冰骑马照1937年，从福建省政府的邀请，前往南洋考察，并宣慰侨胞。1938年取道安南(今越南)回国。抗日战争期间，他历经四川、贵州、湖南、云南、广西、陕西、甘肃等地，宣传抗日救国。 1940年在西安时，萨镇冰曾出发前往延安，半途被朱绍良派员接回重庆，将他送到辰溪水雷所休息。1945年秋，日本军国主义宣布无条件投降，86岁的萨镇冰从重庆飞往上海小住。
1946年，萨镇冰回到故里，居住在福州中山路仁寿堂。此堂是他80岁高龄之时，由陈兆锵、陈培锟等20多位乡亲捐资建赠的。萨镇冰被授予国军海军二级上将并除役。1948年，萨镇冰90诞辰，福建省会各界人士为他祝寿，成立筹备会，由当时的省政府、省参议会以及地方知名人士参加。当时，萨镇冰拍有乘马一照，自题:“行年九十，壮志犹存，乘兹款段，北望中原”作业答谢纪念。
1949年8月，国民党政府崩溃前夕，解放军进驻福州之际，“代总统”李宗仁来到福州，在福州佛教医院(他有小恙住院)见了萨镇冰，转达蒋介石之意，力劝他前往台湾，萨镇冰以病为由坚决推辞了，并发文拥护中国共产党。他晚年走上与中国共产党合作的道路，为迎接解放军进入福州城做了不少有益的工作。
解放之后
中华人民共和国建国后任第一届全国政协委员、中央人民政府人民革命军事委员会委员、中央人民政府华侨事务委员会委员、福建省人民政府委员会委员等职。
1951年，中国人民志愿军在抗美援朝战争第三次战役后打进了汉城，萨镇冰得知此事，回想起57年前的甲午悲歌，当即作诗一首:五十七载犹如梦，举国沦亡缘汉城，龙游浅水勿自弃，终有扬眉吐气天。
1952年4月10日，萨镇冰于福州病逝，享寿94岁。临终前不久，萨镇冰写道:“国疆昔小而今大，民治虽分终必联，人类求安原有道，俗情狃旧尚无边，忘怀富贵心常乐，从事勤劳志益坚，所望群公齐努力，相扶世运顺乎天。”毛｜泽｜东、周｜恩｜来等党和国家领导人均发来唁电。中央人民政府给费治丧，福建人民政府为其举行公祭。