国产真实偷人视频A,国产精品色拉拉

數(shù)家名企大數(shù)據(jù)平臺應用演進之路解析！

來源：IT168 　2018-11-17 15:34:53

十余年來，企業(yè)架構(gòu)經(jīng)過了數(shù)次迭代和變遷，ITPUB是這一切的重要見證者，同樣陪伴了無數(shù)架構(gòu)師的成長。10月17日，第十屆中國系統(tǒng)架構(gòu)師大會以“十年架構(gòu)，成長之路”為主題，云集了國內(nèi)CTO、研發(fā)總監(jiān)、高級系統(tǒng)架構(gòu)師、開發(fā)工程師和IT經(jīng)理等技術人群，與會規(guī)模超千人。本屆大會特設四大主線，其中，主線二為基于大數(shù)據(jù)平臺的應用實踐，數(shù)位技術專家傾囊相授，SACC十年磨礪，涅槃起航!

美團點評高級技術專家曾林西：美團點評Spark的演進與實踐

Spark作為美團點評主流的離線大數(shù)據(jù)計算引擎，在數(shù)倉生產(chǎn)、查詢分析、機器學習等領域都有重度使用。曾林西介紹了Spark在美團點評的演進過程以及主要應用場景和現(xiàn)狀;對于Spark任務管理、交互式開發(fā)、問題診斷等需求的平臺化架構(gòu)選型和建設思路;基于Spark做數(shù)倉生產(chǎn)計算引擎以及Spark on GPU集群實現(xiàn)批量深度學習預測等實踐過程遇到的功能性、穩(wěn)定性、性能問題對引擎內(nèi)核進行改造的經(jīng)驗等內(nèi)容。

從正常運行到成熟應用場景的落地，美團點評的Spark演進之路可以概括為能用、好用、用好三個階段。整個演進過程圍繞解決平臺和接口定義，定位分布式執(zhí)行計算失敗原因，落地數(shù)據(jù)倉庫生產(chǎn)Spark等問題逐一展開，最終提升了整個Spark引擎的魯棒性。

小米數(shù)據(jù)流平臺負責人夏軍：小米數(shù)據(jù)流服務：大數(shù)據(jù)集成架構(gòu)演化之路

對大多數(shù)企業(yè)而言，讓數(shù)據(jù)去到該去的地方并發(fā)揮最大的價值一直是技術人員窮盡探索的難題。小米有眾多智能終端和設備，數(shù)據(jù)規(guī)模非常大，對于數(shù)據(jù)采集和大數(shù)據(jù)集成提出了非常高的要求。其內(nèi)部大數(shù)據(jù)系統(tǒng)眾多，如何高效集成Kafka、OLAP等多個系統(tǒng)?如何保證數(shù)據(jù)低延遲傳輸?如何實時發(fā)現(xiàn)并警報數(shù)據(jù)流異常?如何量化數(shù)據(jù)流整體鏈路情況等問題同樣是小米技術團隊亟待解決的難題。

基于上述問題，小米的數(shù)據(jù)流平臺共分為三部分：Talos為中間層，小米自研的消息隊列，主要扮演數(shù)據(jù)中轉(zhuǎn)站的角色，類似于開源組件Kafka;下層為Source或Sink的擴展，目標是連接大數(shù)據(jù)應用場景下的不同平臺;上層依賴底層的數(shù)據(jù)收集進行監(jiān)控、分析等工作。整套系統(tǒng)主要應用于小米的埋點數(shù)據(jù)收集、實時日志分析、泛OLAP場景以及流式計算等場景。

eBay資深主任工程師郭躍鵬：Apache Griffin - 分布式系統(tǒng)的數(shù)據(jù)質(zhì)量方案

在大數(shù)據(jù)、云計算、流式計算為基礎的分布式環(huán)境下，數(shù)據(jù)本身的質(zhì)量問題越發(fā)重要。Apache Griffin項目是eBay發(fā)起并貢獻給Apache社區(qū)的數(shù)據(jù)質(zhì)量方案。它試圖提供一套可擴展，可伸縮的框架來解決數(shù)據(jù)質(zhì)量的幾個典型問題：如數(shù)據(jù)的精確性問題、一致性問題、合法性問題、時效性問題、唯一性問題以及完整性問題。面臨streaming和batch的企業(yè)數(shù)據(jù)環(huán)境，Apache Griffin如何通過提供一整套的流程來定義，測量并匯報數(shù)據(jù)質(zhì)量，以試圖解決數(shù)據(jù)質(zhì)量問題?

在數(shù)據(jù)服務領域從業(yè)多年，郭躍鵬發(fā)現(xiàn)不少企業(yè)內(nèi)部跨多個系統(tǒng)和團隊沒有統(tǒng)一的數(shù)據(jù)質(zhì)量視圖，沒有共享平臺來管理數(shù)據(jù)質(zhì)量，也沒有近乎實時的系統(tǒng)健康狀況報告，Apache Griffin的初級需求便誕生了。除了解決上述問題，Apache Griffin也支持Streaming，基于Spark2.2.0版本并有新的DSL。之后，該團隊將繼續(xù)優(yōu)化該項目，新增更多連接器并實現(xiàn)基于拓撲的數(shù)據(jù)質(zhì)量監(jiān)控(項目開源地址：https://github.com/apache/incubator-griffin)。

百度技術經(jīng)理張建偉：百度云Spark優(yōu)化及大規(guī)模應用

從2003年至今，百度云經(jīng)歷了從分布式搜索系統(tǒng)到如今的可視化分析挖掘、可視化報表大屏和安全計算。在這個過程中，Spark證明了其大數(shù)據(jù)計算核心引擎的地位，百度云內(nèi)部也在進行全面的Spark化，并本著“開源開放”的原則將研究改進成果積極與社區(qū)分享。

目前，百度云內(nèi)部Spark集群規(guī)模在15000臺左右，團隊進行了運行時優(yōu)化、獨立Shuffle以及純流式等改進。在性能優(yōu)化方面，百度云與Intel聯(lián)合開源了OAP項目，其性能提升了大概5倍;插件式易部署;類似傳統(tǒng)數(shù)據(jù)庫的索引和cache，易于使用。AE(Adaptive Execution)方案主要針對運行時優(yōu)化，解決Reduce數(shù)量設置等問題。流式shuffle的加入減少了舊 shuffle map merge、reduce pull 時間消耗等問題。如果感興趣，大部分技術成果都可以通過開源社區(qū)查詢實踐。

在本屆SACC大會的主線二《大數(shù)據(jù)平臺架構(gòu)實踐》上半場，我們了解了不同企業(yè)在數(shù)據(jù)分析、資源調(diào)度和集群配置等方面的實踐優(yōu)化。“十年磨一劍，礪得梅花香”，第十屆中國系統(tǒng)架構(gòu)師大會準備了三天傳統(tǒng)技術大會演講，兩天深度主題培訓

推薦DIY文章