10月26日-27日，2018易觀A10大數(shù)據(jù)應(yīng)用峰會在北京如期召開，本次峰會以“數(shù)造未來 精益成長”為主題。來自國內(nèi)外的大數(shù)據(jù)實踐者、資本掌舵人、企業(yè)家、技術(shù)大咖、運營專家、應(yīng)用開發(fā)者以及知名媒體人齊聚一堂，共同討論和分享在數(shù)據(jù)驅(qū)動下的企業(yè)精益成長之道。

在10月27日上午舉行的易觀A10峰會數(shù)造未來主論壇上，易觀CTO郭煒做了題為《流動水系數(shù)造未來》的主題演講，郭煒在演講中以自身豐富的技術(shù)從業(yè)經(jīng)驗，為我們分享大數(shù)據(jù)下的數(shù)據(jù)難題以及應(yīng)對方法。以下為其演講實錄：

對于大數(shù)據(jù)，企業(yè)經(jīng)常會遇到這樣的問題：大數(shù)據(jù)大而不強、人工智能人工而不智能。為什么這么講？過去我們在做大數(shù)據(jù)時，經(jīng)常把企業(yè)認為有價值的數(shù)據(jù)都存在一起，但當我們使用的時候，會發(fā)現(xiàn)隨著數(shù)據(jù)的沉積，越來越難以使用這些數(shù)據(jù)，為什么呢？因為隨著時間的流逝，數(shù)據(jù)的定義、數(shù)據(jù)的格式、業(yè)務(wù)的含義已經(jīng)逐漸都發(fā)生變化，越來越不清晰。隨著時間的變化，我們的數(shù)據(jù)湖（Data Lake）最終變成了一片數(shù)據(jù)沼澤。

我相信很多企業(yè)都會遇到這樣的問題，于是有些企業(yè)開始做大數(shù)據(jù)治理。但真正數(shù)據(jù)治理非常困難，這是為什么呢？因為長時間積累下來的數(shù)據(jù)，每次規(guī)整和刪除都非常痛苦，不知道哪個業(yè)務(wù)部門在使用它，不知道它真正的含義，或者將來是不是可以用到它。

每一次CTO和CIO都會遇到這個問題，大數(shù)據(jù)的價值究竟在哪？感覺自己的大數(shù)據(jù)團隊人員永遠不足；感覺大數(shù)據(jù)存儲永遠不夠；數(shù)據(jù)永遠難以滿足業(yè)務(wù)分析維度，還有不統(tǒng)一的數(shù)據(jù)標準融入等等一系列問題。

當然易觀也遇到這樣的問題，易觀SDK月活接近5.9個億，約6.8PB的數(shù)據(jù)存儲，目前我們已經(jīng)存儲到了90%。當我找老板要服務(wù)器，跟老板匯報說：“我們6.8PB數(shù)據(jù)已經(jīng)存滿，現(xiàn)在只能存儲不到一年數(shù)據(jù)，我們需要更多的存儲”，老板問，“這些數(shù)據(jù)在哪里使用，有什么用？”而我還繼續(xù)說，“下一步物聯(lián)網(wǎng)數(shù)據(jù)要來了，IOT數(shù)據(jù)的量級是我們現(xiàn)在移動互聯(lián)網(wǎng)量級的10倍，還要多10倍的存儲”。老板睜大眼睛問我說，“郭煒啊，你覺得我們這些數(shù)據(jù)的價值在哪里？” 這是我們每一個CTO或者大數(shù)據(jù)總監(jiān)去跟老板要資源的時候都會遇到的問題，那么我們該怎么解決這個問題？

答案就是我們要給企業(yè)做一個數(shù)據(jù)驅(qū)動的中臺。很多企業(yè)都知道數(shù)據(jù)中臺的概念，認為數(shù)據(jù)中臺就是把各種數(shù)據(jù)組件打包、把大數(shù)據(jù)存儲好即可。但是這樣做隨著時間積累，數(shù)據(jù)中臺就會從數(shù)據(jù)湖變成數(shù)據(jù)沼澤。怎么辦呢？我們的理論是提出一個數(shù)據(jù)河的概念。中國有句俗話叫“流水不腐，戶樞不蠹”，就是數(shù)據(jù)一定像河水一樣流動起來，才不會產(chǎn)生瘀泥。

那數(shù)據(jù)河的概念是什么？數(shù)據(jù)河就是從數(shù)據(jù)產(chǎn)生端直接通過IOTA數(shù)據(jù)河實時流向數(shù)據(jù)使用者。這樣有個好處，每一個數(shù)據(jù)的發(fā)生者都會有一個使用者，而不是大家想象中說這個數(shù)據(jù)很有用，但數(shù)據(jù)誰用了我不知道，只是單純把它存儲下來。

這樣做，會帶來什么好處呢？數(shù)據(jù)的每一次產(chǎn)生和使用都是確定的，是否要存留是根據(jù)我們數(shù)據(jù)使用者的情況去做的。大家都在討論數(shù)據(jù)治理，這其實是一件非常痛苦的事。在10年前，我在IBM給一個數(shù)據(jù)銀行做數(shù)據(jù)治理，那個項目當時耗費了兩年多時間，數(shù)據(jù)治理是件很復(fù)雜的事。但當我們變成數(shù)據(jù)河以后，我們可以通過飛輪驅(qū)動效應(yīng)來實現(xiàn)大數(shù)據(jù)治理。

什么叫飛輪驅(qū)動效應(yīng)？這個名詞來自于亞馬遜，意味著一個東西在轉(zhuǎn)起來的時候是自己驅(qū)動自己在加速運轉(zhuǎn)。數(shù)據(jù)的使用者特別關(guān)注最后數(shù)據(jù)產(chǎn)生時的樣子，所以當你的河水發(fā)生污染，里面數(shù)據(jù)質(zhì)量不好的時候，不用擔(dān)心最后變成瘀泥的時候再治理會很難。你的數(shù)據(jù)使用者會第一時間告訴你：對不起，我們的數(shù)據(jù)有問題。

當把數(shù)據(jù)河放到整個企業(yè)的時候就會形成數(shù)據(jù)水生態(tài)。并不是說一個企業(yè)自己一條河流或者一個水系就能把所有的河都治理好。大數(shù)據(jù)是開放的，是要流動的。所以我們在外部會有第三方合作伙伴，他們會把一些數(shù)據(jù)實時灌注到企業(yè)里，幫助把企業(yè)里的數(shù)據(jù)水系擴充得更好。

再說說什么是IOTA架構(gòu)？大數(shù)據(jù)IOTA架構(gòu)是易觀今年年初提出的。我們所提倡的大數(shù)據(jù)不是存下來，而是實時流動起來的。它分為幾部分，邊緣計算的SDK，統(tǒng)一數(shù)據(jù)模型，云端存儲于計算引擎。

IOTA架構(gòu)可以歸納以下4個特點：去ETL架構(gòu)；邊緣SDK計算；非結(jié)構(gòu)化實時轉(zhuǎn)化結(jié)構(gòu)化數(shù)據(jù)存儲；支持IOT設(shè)備。

大家過去在做大數(shù)據(jù)計算的時候，都要把它放到云端，放到一個平臺里面去算，但隨著我們手機端越來越強大，大家發(fā)現(xiàn)其實現(xiàn)在的手機可能就像5年前的電腦一樣強大。為什么我們還要把所有的數(shù)據(jù)放到云端去算？IOTA架構(gòu)給了大家一個答案，我們的數(shù)據(jù)其實在數(shù)據(jù)產(chǎn)生的時候就邊緣SDK計算了，在云端時只負責(zé)存儲和查詢。

而統(tǒng)一數(shù)據(jù)模型，就是IOTA架構(gòu)下自始至終從云端、計算端到最后使用端都是一套數(shù)據(jù)模型。 我舉一個大家在做用戶行為分析時會使用的模型，叫做主謂賓模型：就是誰、什么時間、在哪、干了什么。比如，過去看移動端用戶行為數(shù)據(jù)的時候，很簡單，某一個用戶的ID在這個頁面點擊了這個按紐；而IOT時代，智能wifi去采集的時候也是一樣這個模型——可以看到用戶的MAC地址什么時間出現(xiàn)在哪一個樓層；對于人臉攝像頭來講也是如此，人臉的特征什么時間進入某一個汽車站。同樣你會發(fā)現(xiàn)，在過去做各種各樣數(shù)據(jù)采集的時候，每一次都要在云端做ETL復(fù)雜的事情，而IOTA架構(gòu)把數(shù)據(jù)分散在數(shù)據(jù)產(chǎn)生端，就可以去解決在云端處理時的各種復(fù)雜情況。

當然IOTA架構(gòu)也有它的缺點，就像我們前面提到，一個IOTA架構(gòu)的數(shù)據(jù)河只能處理一個主題域的數(shù)據(jù)，比如說用戶行為的統(tǒng)一數(shù)據(jù)模型，對于另一個主題域我們會有另外一條IOTA的數(shù)據(jù)河讓它去處理，例如產(chǎn)品消費和庫存。

IOTA架構(gòu)的好處就是在數(shù)據(jù)的產(chǎn)生端，直接實時傳送給最后的用戶行為分析人員去使用，而不是把它沉寂下來再看怎么去做，這樣直接提高了我們整個大數(shù)據(jù)的使用效率，實現(xiàn)了數(shù)據(jù)驅(qū)動的業(yè)務(wù)閉環(huán)。

易觀自己基于IOTA架構(gòu)開發(fā)了一個實例，叫做易觀秒算，由底層邊緣的SDK到相關(guān)的數(shù)據(jù)接入子模塊，到查詢引擎支持前端應(yīng)用，目前已經(jīng)在易觀方舟ark.analysys.cn產(chǎn)品中使用。而昨天發(fā)布的企業(yè)成長版易觀方舟就是基于企業(yè)生態(tài)水系實現(xiàn)營銷閉環(huán)的數(shù)據(jù)平臺，它既有能采集到企業(yè)內(nèi)部的各種不同數(shù)據(jù)的SDK（手機端、小程序、H5、Java、Python等），也支持易觀或第三方任何一家的外部數(shù)據(jù)增補，還可以對接企業(yè)內(nèi)部的ERP、CRM數(shù)據(jù)。而底層的秒算引擎提供讓BI和大數(shù)據(jù)人員二次開發(fā)的SQL接口，以便企業(yè)精細化運營閉環(huán)的各種分析和使用。

對于易觀方舟ark.analysys.cn來講，我們提供的是一個PAAS平臺，就像我們剛才說的數(shù)據(jù)生態(tài)一樣，我們不認為易觀一家就可以把這個平臺做好。所以易觀懷著非常開放的心態(tài)愿意和大家合作。那么易觀能給大家提供什么呢？

易觀經(jīng)過18年的積累，已經(jīng)有三千多家企業(yè)客戶，我們愿意和大家一起共享資源。

易觀有豐富的數(shù)據(jù)資源，每個月月活5.9億設(shè)備的數(shù)據(jù)資源。希望有更多算法公司或者個人開發(fā)者加盟到聯(lián)盟中，一起利用好這些數(shù)據(jù)。

易觀有IOTA架構(gòu)的方舟PAAS，大家可以在上面開發(fā)自己的組件，易觀將幫助你們把這些組件打包賣給客戶實現(xiàn)盈利。

當然，我們也有深入行業(yè)的各種業(yè)務(wù)分析場景。無論你是企業(yè)還是開發(fā)者，我們都可以提供多種場景幫助大家解決相關(guān)商業(yè)問題，與大家共同推進國內(nèi)大數(shù)據(jù)生態(tài)發(fā)展。

在這，我也代表易觀，期待更多大數(shù)據(jù)開發(fā)者和企業(yè)加盟，給國內(nèi)外企業(yè)提供更好的大數(shù)據(jù)服務(wù)。謝謝各位！