在線閱讀雜志

    2018年05月20日

    第10期 總第484期

    封面文章
    “網銀”殊途同歸路
    金融服務似乎正在以你想要的方式前行。 相應的,金融的生態及格局也在發生重大變化。技術的推動讓金融的數字化轉型愈發明顯,傳統金融機構“離柜率”同互聯網銀行業務激增形成強烈的對比。[詳細]
    精彩推薦
  • 贵州11选5助手app:金山云:云上的大數據平臺

    天天快三彩票网 www.ituvj.com 時間:2017-05-27    來源:《IT經理世界》    作者:李昊原 我要評論() 字號:T | T

  • 4.jpg

     電商企業有兩個鮮明的特點,第一是,有許多促銷運營的活動,比如“雙十一”、“雙十二”;第二是,對大數據的依賴性很強,借助對數據的分析進行精準推送。

    一家企業一天可以產生多少數據呢?幾個例子可以說明問題:一家中大型的游戲公司,每天玩家可以產生600GB的行為數據;一家互聯網企業,用戶每天的點擊流和行為數據可以達到500GB;而一家醫療行業,或是生物分析行業的企業,假如想對幾十萬甚至上百萬人做基因的數據分析,人類的DNA是30億個堿基對,那每個人DNA的數據大概就是3GB,分析的數據量將逼近甚至達到PB級。對一些企業來說,大數據能力不僅是一種追求,而是企業運營的必需品。

    在這樣的數據量面前,一個顯而易見的問題是如果電商企業自建機房,只為應對促銷活動時的IT壓力,這意味著購進大量設備,而在平時,這些資源是被閑置的,這是成本上的浪費。另外,大數據平臺的運營和維護成本也比較高。

    隨著云計算的興起,企業紛紛將數據遷移到云上,以金山云為例,其存儲企業的總數據量已超過400PB,并以每天500TB的速度在不斷增加,在云上提供大數據服務成了一種必然。

    在電商企業使用云平臺之后,實時數據則會通過萬兆網的專線,傳輸到金山云KMR(Kingsoft MapReduce,金山云托管Hadoop服務)集群進行處理與分析,然后將處理結果傳回電商的數據中心。在促銷活動時,可以按需購買資源,只需幾分鐘就能靈活擴容與收縮,成本下降效率卻大大提升了。同時,也不必在運營維護上投入過多資源,能更專注于本身的業務。對大多數技術不夠強的企業來說,面對突發情況,KMR的安全性也比自己搭建的大數據平臺要更高。

    金山云大數據和AI技術總監張東進將企業對云上數據的應用分為四個階段:最基礎的是將數據放到云上,包括對數據的存儲和分發;第二個階段,是使用數據驅動決策和運營,包括商務智能和統計分析;第三個階段,不僅僅用數據來驅動決策和運營,還會利用數據來支撐一些關鍵業務,比如電商的商品推薦功能,一些傳統制造業企業,也會用數據配合人工智能,去優化生產制造流程;第四個階段,完全以數據為核心去構建業務模式,比如今日頭條。

    “要是簡單地把企業分為互聯網企業和傳統企業,前者的數據意識比較高,又擁有較強的技術實力,業務模式通常也跟數據深度綁定,在數據應用上會走得比較深入。而傳統企業,早期主要是在商業智能(BI)上應用數據,現在也開始思考如何來應用大數據。我們發現一個趨勢,兩年前,傳統企業認為大數據重要,是因為國家和媒體的宣傳,并沒有真正的體會;而現在,他們的競爭對手在用大數據,他們能感受到差別,也真的認為大數據很重要了。不管哪種企業,都可以在這四個階段中滿足自己的需求。” 

     
    硬件革命推動大數據“上云”
     
           大數據的關鍵是建立一個穩定高效的大數據分析平臺。2011年Hadoop開始流行時,大數據在實際部署中有一系列難以解決的問題:多租戶模式導致對數據安全性的詬??;搭建大數據平臺時,需要采購大量設備,對人員的技術要求高,時間長達數月,難以快速部署;對計算能力進行擴容,從采購機器到完成會耗時長,系統缺乏靈活性和可靠性。
     
          與之對應的是,當時網絡還在千兆網時代,硬盤是每秒寫次50的SATA,計算方面是Westmere處理器,硬件的不足導致移動海量數據的成本高,計算需要在數據所在的地方進行,限制了大數據技術的落地。而現在,100G網絡已經出現,CPU的計算能力提升了10~20倍,最近發布的英特爾閃騰P4800X固態硬盤,每秒寫次達到50萬。硬件的革命性進步,讓計算和存儲可以分開到兩個獨立的集群中,通過高速互聯網來連接,云上大數據平臺的實現成為可能。
     
           KMR就是金山云依托英特爾在硬件方面的實力,推出的云上大數據服務,通過數據打通,企業客戶在金山云上以及在自己的數據中心產生的數據,可以在平臺上一站式地做計算、做分析。
     
           起家于IaaS的金山云,過去兩年深耕PaaS領域,更擅長于偏基礎性的平臺服務。“我們發現,SaaS更像是點上的需求,而PaaS則是廣泛的需求。比如說在一個大型集團中,都會用同一個PaaS來做大數據服務。”針對企業對SaaS方面的需求,尤其是傳統企業所需要的能夠直接面對運營和分析人員的數據服務,金山云除了自己開發,還通過與合作伙伴合作的方式在KMR上達成。云上大數據平臺可以滿足企業在數據處理第一和第二階段的需求,更高階段的數據應用,需要云上大數據和人工智能進行深度融合,這也是金山云接下來的重點方向。“我們可以通過人工智能技術改進大數據平臺,在數據的接入、轉換、挖掘,和支撐、賦能企業業務做到更好。”
  • 加入收藏
  • [ 作者:李昊原 ]
  • 分享到: 更多
    標簽:
  • 相關推薦
    無相關信息
  • 最新消息
    · 金山云:云上的大數據平臺2017-05-27
    · 阿里云的數據三部曲2017-05-27
    · 亞馬遜AWS:云上構筑大數據框架2017-05-27
    · 云上的數據生態2017-05-27
    · SaaS CRM破舊出新,銷售易用四朵云助力企業連接客戶2017-05-25