圖片來源@視覺中國
技術周期和商業(yè)周期并不總是同步,從歷史發(fā)展來看,每一次商業(yè)周期的下行階段,常常伴隨技術周期新的開端。
過去兩年,全球云計算基礎設施投資已經超過了傳統(tǒng)IT領域的技術投資,世界正在加速駛向云計算。在2022年財報里,阿里巴巴披露了其用云支出達到了200多億。在前段時間的云棲大會上,阿里技術風險與效能負責人張瓅玶表示,經過持續(xù)多年上云用云,今年阿里巴巴集團在PaaS(包括大數據、機器學習平臺、數據庫中間件等)支持的業(yè)務形態(tài)中支出占用云總成本達43%。與此同時,阿里巴巴今年也正式確立了以“云原生”作為集團整體技術架構的戰(zhàn)略,正式進入“全面云原生深度用云”階段。
在外界對阿里巴巴深度用云的諸多解讀中,增效降本成為了一個避不開的話題。的確,增效降本確實是企業(yè)數字化轉型的最關鍵的目標,但對于阿里巴巴來說,增效降本只是深度用云的效果之一,這背后的更多深意是一家中國互聯(lián)網公司在技術長征路上,不斷創(chuàng)新和探索的新故事。
新一輪的科技變革正在深入發(fā)展,以云為核心的新型計算體系正在形成,軟件研發(fā)范式也正在發(fā)生新的變革。“深度用云”更高層次的意義在于對計算體系結構的創(chuàng)新,以及以此而帶來的長尾創(chuàng)新,這包括數據庫、芯片等核心技術領域的自研突破,以及企業(yè)本身生產經營范式等面臨的大變化。
作為全球首家將所有業(yè)務放在公共云上的科技企業(yè),阿里巴巴在過去十年經歷了云計算能力從單點試驗到規(guī)?;瘧玫能S遷式變革。從“阿里巴巴上云”到“云上的阿里巴巴”,阿里正在引領一個全面深度用云的時代。這種底層自研技術的進化,將帶來未來業(yè)務的敏捷創(chuàng)新及消費體驗的變革,引領商業(yè)與社會系統(tǒng)走向更全面深度的融合。
深度用云“先行者”
阿里巴巴首席技術官程立曾公開表示,云計算開啟了開源新時代——云是數字世界的基座,云也為開源軟件提供了最佳運行環(huán)境,云 + 開源共同成為數字世界的根。云與開源的結合,將激發(fā)基礎軟件和技術的進一步創(chuàng)新。
2009年創(chuàng)立之時,阿里巴巴就啟動了搜索、推薦業(yè)務上云。搜索推薦業(yè)務對技術性能有極致的要求,彼時阿里云的云技術尚未成熟。2015年,阿里電商業(yè)務增長,開始雙11彈性上云以解決大促資源的計算缺口。2019年阿里巴巴實現核心系統(tǒng)上云,因為淘寶、天貓等業(yè)務體量龐大,一開始的階段最主要關注技術架構的性能穩(wěn)定性。
到了2020年,阿里巴巴開始實現全面云原生化,直至2021年阿里完成了包括電商主營業(yè)務在內的數千萬核心算力、數萬應用的全面上云。
從阿里巴巴深度用云的過程可以看出,早期的云計算技術發(fā)展更關注自身產業(yè)鏈的完整,補足從基礎設施、平臺到應用的各個層次。如今,以云原生為代表的新一代云計算技術,重在提升效率,賦能業(yè)務生產,這是技術逐步發(fā)展成熟的一個標志。
阿里巴巴自身作為阿里云的真實客戶,通過十多年來業(yè)務的實際需求和系統(tǒng)演進,協(xié)助打磨提升了阿里云的核心能力,實現了阿里自研技術能力的提升,這在后來成為阿里云能更好服務外部客戶的基礎前提。
“阿里云的技術需要滿足每一個超越當下產品能力的要求,而這個過程,也有效促進了阿里云的技術不斷成長,幫助內部節(jié)省成本,也給行業(yè)、客戶提供了重要的價值。”張瓅玶補充道。
在阿里看來,通過用好云能夠實現整體的增效降本,并且實現基礎軟件和硬核技術創(chuàng)新。借助用好云和自研技術組合,也推動了自身業(yè)務增長以及用戶和商家體驗創(chuàng)新。更重要的是,這將改變企業(yè)內部技術人才設計,更有效利用和釋放云的能力。
以云計算發(fā)展歷程來看,用云形態(tài)主要包括IaaS(基礎設施即服務)、PaaS(平臺即服務)、SaaS(軟件即服務)三類。企業(yè)在數字化轉型初期,主要借助云計算能力構建IaaS資源平臺,統(tǒng)一云上云下資源以提升效率。
隨著大數據、AI產業(yè)發(fā)展,帶來了算力需求的變化,用云形態(tài)也發(fā)生改變,對PaaS投入比重高,意味著用云進入深入階段。據IDC報告顯示,2021年中國公有云(IaaS+PaaS)市場PaaS支出占比為16.8%。
據張瓅玶介紹,在2022年的用云支出里面IaaS層的比例是57%,而PaaS層,包括大數據、中間件等占到了43%,相比之下,阿里巴巴在PaaS投入比重已超過業(yè)內平均水平。這樣的高占比的支出,也是一個典型的深入用云的標志。
在阿里看來,未來三年PaaS的比重還將持續(xù)增加。由于業(yè)務形態(tài)對算力增長的需求會傾斜在大數據AI,這一側的增長隨著技術發(fā)展會指數增長的,例如圖像識別的模型去年到今年就有了10倍規(guī)模的提升。機器學習、大數據支持用戶的體驗,要增長一兩個百分點的效率,模擬訓練就要擴大很多倍,這也是PaaS占比持續(xù)提升的原因。
基于全面彈性架構,構建未來的數字世界
這種“靈活彈性”效果在今年的雙11體現得淋漓盡致。
今年雙11是三峰疊加的第一年,在11月10號晚上8點開始,用戶發(fā)現:下單、預售尾款支付、退款功能都同時打開了。即使在下單高峰期,消費者也可以隨時隨心想退就退。
應對三峰疊加壓力的背后,和阿里的深度用云、全面彈性能力密不可分。
實際上,每年雙11開賣的那一刻,千萬用戶同時在線下單,導致瞬間服務器的壓力是平時流量的數百倍,為了保障穩(wěn)定,阿里每年要提前買很多機器保障大促,只要交易不出問題、系統(tǒng)不出問題,即使很多體驗會因此折損,也是成功的。
今年,阿里開始非常關注用戶體驗,云計算全面彈性的優(yōu)勢也發(fā)揮了出來。彈性的架構能力使得業(yè)務能夠部署到公有云的全球站點,具備全球站點快速拉起服務的能力。所以,今年的雙11從信息流到詳情、店鋪、購物車等核心鏈路,包括各層面的基礎設施都發(fā)生了很多變化。
借助云的隨申隨用,彈性資源供給能力,不僅可以支持流量峰值、提供性價比更優(yōu)的算力支撐,研發(fā)運維、大促保障的方法也正在發(fā)生相應的改變。
張瓅玶表示: “成本要以業(yè)務單位算力成本來看,而非傳統(tǒng)認知中把物理機器成本做簡單的分攤。既要看到整個機房和集群的分配、閑置的影響,也要看到業(yè)務架構、資源利用率水平,存儲和網絡的彈性能力等對成本和效能的影響。”
以阿里推動上云業(yè)務升級的云產品Flink為例,業(yè)務主體在兩個月時間內就完成了云上遷移,并實現了性能提升30%以上,成本下降30%,整個過程不需要關注原有集群機器閑置成本以及產品研發(fā)團隊投入。
在過去三年,阿里從核心系統(tǒng)上云、到全面深度用云,已經正式實現了從統(tǒng)一調度到全面FinOps(云成本優(yōu)化)實踐,即運用成本管理體系支撐優(yōu)化,通過云計算的彈性能力實現了機器閑置率下降和支持峰值分配率的提升、神龍?zhí)摂M化架構帶來的CPU利用率提升、以及存儲、網絡彈性成本下降,最終帶來業(yè)務整體單位算力成本下降。
除了成本優(yōu)化,全面深度用云也帶來了阿里業(yè)務的敏捷創(chuàng)新。通過用云產品靈駿智能計算快速實現超大規(guī)模機器學習模型訓練交付,在大規(guī)模稀疏場景中,訓練萬億樣本數據時間從兩周縮短到半周,提效四倍,訓練集群成本下降50%。
通過對阿里集團調用量最大的數據庫之一Tair的用云優(yōu)化,今年雙11淘寶購物車擴容技術以輕量化連接、異步支持技術支撐起超大連接數,使單集群訪問流量達到100GB/s,承載數億用戶同時在線加大購物車。
據介紹,今年阿里使用了60多款重點PaaS/SaaS產品,這些產品全球多region開箱即用、無需運維維護,減少了大量運維成本,并實現了隨時彈性。
在阿里巴巴看來,未來的數字世界,必須基于彈性、敏捷的架構來構建,全面深度云原生化則是實現彈性、敏捷的必由之路。隨著“全面深度云原生化”,也將打開越來越多的限制、創(chuàng)造更多的業(yè)務可能性。
從“深度用云”,看阿里的技術進化
經歷了十多年的業(yè)務實戰(zhàn),阿里早已預判未來業(yè)務、技術架構、相互依賴將變得越來越復雜,而開發(fā)者面臨的技術挑戰(zhàn)也將越來越巨大。阿里希望不僅只是依靠云的能力來優(yōu)化成本,還應全面升級研發(fā)模式和應用架構,來幫助開發(fā)者提效。
Serverless 就是關鍵的發(fā)展趨勢之一。
今年,阿里巴巴內部確立了以“云原生”作為集團整體技術架構的戰(zhàn)略,向 Serverless 化邁進,以實現更加彈性和敏捷的系統(tǒng)架構。同時阿里云也在今年的云棲大會宣布核心產品走向全面Serverless,云正在通過產品能力提升致力讓開發(fā)者用云就像用電一樣簡單,為云上業(yè)務敏捷提供更強力的支撐。
基于 Serverless 架構,云上研發(fā)方式正在發(fā)生根本性的改變。開發(fā)者不需要關心過多的資源配置等工作,直接在云上高效進行研發(fā)、運維、部署、建站。Serverless 還能夠降低軟件開發(fā)門檻,提供更多的預制模塊,大幅提高軟件生產效率,開啟云上研發(fā)新模式。
程立表示,云原生 Serverless 化正在加速重塑阿里應用架構和研發(fā)模式。
今年雙 11,淘寶首頁就實現了 100% Serverless 化,通過更輕量靈活規(guī)范地用云,實現了應用輕量化和運維效率的顯著提升,應用部署時長縮短一半。
Serverless將讓云計算從一種資源真正變成一種能力。當云計算全面Serverless化,客戶不再需要關心運維問題,只需要關注開發(fā)業(yè)務邏輯,充分利用云的彈性能力,讓應用依賴標準化云服務,讓應用可以隨時在云上環(huán)境彈性部署、隨申隨用云資源,幫助開發(fā)者和企業(yè)實現敏捷創(chuàng)新。
值得一提的是,阿里正在努力向社會化大協(xié)同邁進,還將不少技術完全開源給全社會。
其一是大規(guī)模搜索技術。Havenask是阿里巴巴內部廣泛使用的大規(guī)模分布式搜索引擎,是阿里電商搜索和推薦業(yè)務中最核心部分的圖化引擎之一。它的實時檢索效率高,能夠支持千億級別數據實時檢索,百萬QPS查詢,百萬TPS高時效性寫入保障,毫秒級查詢延遲和數據更新。Havenask支持了淘寶、天貓、菜鳥、優(yōu)酷在內的整個阿里巴巴集團的搜索業(yè)務,也是過去十多年阿里在整個電商領域積累下來的核心競爭力的產品,在今年雙11期間正式開源。不僅是在電商、互聯(lián)網行業(yè),借助大規(guī)模搜索系統(tǒng),將會有更多產業(yè)實現效率升級和體驗進步。
其二是大規(guī)?;觳肯到y(tǒng)。阿里巴巴早在2016年就啟動了混部技術研發(fā),作為云原生混部的踐行者,阿里巴巴是真刀真槍地在生產環(huán)境中推進混部技術理念,在2021年雙 11 就實現了混部技術全面升級,支撐了全球數十個數據中心、數百萬容器、數千萬核的大規(guī)模資源調度。
為了幫助企業(yè)更快速獲取云原生混部帶來的資源效率紅利,阿里在今年開源了 Koordinator 項目,并在云棲大會發(fā)布了Koordinator 1.0,在標準化、通用化上做出了更多的突破。Koordinator可以解決企業(yè)應用混部的過程中面臨的兩大挑戰(zhàn):應用如何接入到混部平臺;應用如何在平臺上能夠運行穩(wěn)定、高效 ,幫助企業(yè)真正意義上的用上混部,提高全局的資源利用效率。從2022年4月正式開源以來,Koordinator 社區(qū)吸引了包括阿里巴巴、小米、小紅書、愛奇藝、360 在內的企業(yè)參與貢獻。
秉持著開放共贏的態(tài)度,阿里巴巴將技術大規(guī)模開源,持續(xù)降低使用門檻,讓技術融入社會的方方面面。
阿里巴巴的深度用云之路,也給各行各業(yè)建立了新的范本。龐大的技術投入要聚焦于自身的核心競爭力,其次,還要有架構和研發(fā)模式升級的決心。
基于當下,探索未來。不管是Serverless,還是開源,阿里巴巴技術探索的未來,就像程立說的那樣:“讓所有人都可以使用,而且可以直接在云上使用。”
(本文首發(fā)鈦媒體App)
根據《網絡安全法》實名制要求,請綁定手機號后發(fā)表評論
很客觀,值得一讀.
值得認真的閱讀