近日，中國電子學會在北京隆重召開科技攻關項目成果鑒定會。鑒定委員會一致認為：天翼云大規(guī)模分布式大數(shù)據(jù)計算平臺研發(fā)項目涉及的大數(shù)據(jù)存儲、計算、調度等一系列關鍵技術，復雜度高、研制難度大、創(chuàng)新性強，總體技術達到國際先進水平，其中分布式存儲元數(shù)據(jù)兩層視圖管理等關鍵技術指標達到國際領先水平。

此次成果是天翼云大數(shù)據(jù)與彈性存儲兩大產品線聯(lián)合攻克大數(shù)據(jù)底層一系列關鍵技術難題的結晶。目前，這些技術創(chuàng)新成果不僅有效支撐了全國多個省份電信公司的IT及業(yè)務上云工作，還在數(shù)據(jù)要素、政務大數(shù)據(jù)平臺、城市大腦等行業(yè)領域實現(xiàn)了廣泛應用，為行業(yè)的數(shù)字化轉型注入了新的動力。

在計算引擎核心方面，通過將Spark runtime層替換成Native runtime層，提供了高效的內存管理、數(shù)據(jù)交換處理能力；將算子改成native實現(xiàn)，并利用SIMD技術加速核心算子處理能力；深度完善基于規(guī)則和代價優(yōu)化的機制，提升引擎的處理效率。相比開源Spark新版本性能提升1.2倍以上。

在調度引擎核心方面，設計分區(qū)同步共享狀態(tài)的分布式調度架構替代傳統(tǒng)的單調度器、集群聯(lián)邦方式，更好地解決了集群規(guī)模可擴展性、調度效率、調度質量、公平性和優(yōu)先級、資源利用率等多方面的矛盾，性能及規(guī)模較開源相比分別提升了3倍和1.5倍，實現(xiàn)了國內領先的調度速度和單集群1.5萬臺的規(guī)模。多調度器共享整個集群狀態(tài)，保證任務調度結果的全局最優(yōu)性；通過資源分區(qū)方式，多調度器對不同的資源分區(qū)并行調度，提升了可支持的集群規(guī)模及調度系統(tǒng)的吞吐量；采用資源分區(qū)輪詢方式，避免出現(xiàn)調度結果與資源分區(qū)的緊耦合，實現(xiàn)最優(yōu)的任務調度；同時，基于單體調度器增加了多調度器協(xié)調工作能力，保障了調度結果的唯一性，避免出現(xiàn)資源沖突導致的調度失敗。

在存儲引擎核心方面，天翼云團隊結合高性能存儲技術，不僅解決了海量文件管理的難題，還大幅提升了數(shù)據(jù)可靠性及性能。依托采用全自研L-RDMA協(xié)議，計算節(jié)點與存儲節(jié)點RDMA全互聯(lián)，實現(xiàn)了“高性能、低成本”的軟硬協(xié)同的統(tǒng)一大數(shù)據(jù)存儲底座。在達到100萬IOPS時，時延依然保持在亞毫秒級，單并發(fā)寫時延達到70us。這一創(chuàng)新成果不僅提升了存儲效率，還為大數(shù)據(jù)處理提供了更穩(wěn)定、更可靠的支持。

此次項目獲得中國電子學會科技成果鑒定會的認可，不僅彰顯了天翼云在大數(shù)據(jù)領域的卓越技術實力和創(chuàng)新精神，也為行業(yè)發(fā)展樹立了新的標桿。未來，天翼云將繼續(xù)堅持科技創(chuàng)新，不斷推動大數(shù)據(jù)和云計算技術發(fā)展，為千行百業(yè)數(shù)字化轉型貢獻更多新質生產力，為數(shù)字經濟高質量發(fā)展注智賦能。