易觀算法大賽自7月份開展選手報名通道以來,已精心準備了100天,距離最終的冠軍之夜只剩下最后的一周,最終決賽將在“數(shù)造未來·精益成長”易觀A10峰會上如期舉行。這場開發(fā)者盛會,算法高手們將共同探討時代浪潮下的數(shù)據(jù)分析。在比賽進入最后的沖刺階段,我們有幸采訪到易觀CTO郭煒,深耕大數(shù)據(jù)領(lǐng)域18年的資深技術(shù)人,這次又為我們帶來了哪些新看法?
易觀CTO郭煒
郭煒,易觀CTO,全球中小企業(yè)創(chuàng)業(yè)聯(lián)合會副會長,中國軟件行業(yè)協(xié)會智能應用服務分會副主任委員,TGO北京分會會長。曾任聯(lián)想研究院大數(shù)據(jù)總監(jiān),萬達電商數(shù)據(jù)部總經(jīng)理,并曾在中金、IBM、Teradata公司擔任大數(shù)據(jù)重要崗位,對大數(shù)據(jù)前沿領(lǐng)域有過卓越貢獻。其在2018年提出大數(shù)據(jù)IOTA架構(gòu)(Big Data IOTA)、企業(yè)“數(shù)據(jù)河”(Data River)的概念,帶領(lǐng)團隊打造了秒算數(shù)據(jù)計算引擎。
以下為采訪實錄:
Q1:您曾在多家企業(yè)任職,最終為什么會選擇加入易觀?
郭煒:我在大數(shù)據(jù)領(lǐng)域內(nèi)堅持了18年,在這殘酷的商業(yè)競爭中,易觀始終堅持深耕大數(shù)據(jù)領(lǐng)域,在這點上我非常佩服。在易觀CEO于揚先生的邀請下,我加入易觀任職CTO,打造易觀的技術(shù)團隊,我相信在大家的共同努力下,易觀也會越來越好。
Q2:在您看來,易觀堅持舉辦算法大賽的最大價值是什么?
郭煒:易觀每年組織OLAP算法大賽,不僅是對大家數(shù)據(jù)上的挑戰(zhàn),也是給行業(yè)一個參考標準,讓大家知道目前開源生態(tài)和商業(yè)生態(tài)中,最好的選手和公司是什么樣子。在比賽中會有很多有意思的黑馬出現(xiàn),像首屆OLAP大賽中的開源組第一名 ,就將俄羅斯最先進的數(shù)據(jù)引擎ClickHouse引進中國。易觀和各位開發(fā)者共同推進了中國大數(shù)據(jù)行業(yè)的進展。
Q3:大數(shù)據(jù)的算法升級與創(chuàng)新,您覺得會給企業(yè)帶來什么價值?
郭煒:大數(shù)據(jù)就像是一個連接器,將企業(yè)的數(shù)字客戶直接連接到企業(yè)管理層和運營層,通過每一個用戶的行為讓企業(yè)管理者了解到最新動態(tài)。同時,通過數(shù)據(jù)實時分析,計算出每個用戶的特征,從而控制風險、提供千人千面的營銷,有效提高企業(yè)收入和拉新效果,讓企業(yè)數(shù)據(jù)驅(qū)動實現(xiàn)營銷閉環(huán)。
Q4:本次算法大賽的數(shù)據(jù)來源是什么?易觀在數(shù)據(jù)分析上,具體是怎么做的?
郭煒:本次大賽的數(shù)據(jù)是參與體驗計劃的用戶設(shè)備數(shù)據(jù)經(jīng)過模糊化之后得來的。目前易觀用戶體驗計劃SDK覆蓋了5.8億月活用戶,數(shù)據(jù)存儲量已超過6.8Pb。在數(shù)據(jù)分析上,易觀自有的算法團隊都是來自阿里、百度、百分點、TalkingData等公司的高手,我們也希望在行業(yè)內(nèi)提出一些有意思和挑戰(zhàn)性的問題,讓大家一起溝通交流。
Q5:本次算法大賽的賽題包括漏斗計算和性別年齡預測賽題,您認為這兩個賽題的難點分別在哪?
郭煒:本次漏斗題目,在基礎(chǔ)漏斗的功能基礎(chǔ)上,增加了很多實際業(yè)務需求。例如選手們需要考慮到重復事件,漏斗在默認日期分組條件下,能支持按照任意步驟的任意屬性進行分組。此外,漏斗計算規(guī)則也更加復雜,因為用戶的實際行為完全隨機,中間會有多條事件符合轉(zhuǎn)換步驟定義,而選手們必須按照約定的通用規(guī)則計算最優(yōu)轉(zhuǎn)化路徑。
而對于性別年齡預測賽題,其主要挑戰(zhàn)在APP高基數(shù)類別特征的處理上。由于樣本不平衡的問題導致小樣本預測的概率較低,因此在時間表的處理上加深了難度;此外,22分類數(shù)量較多,以性別和年齡作為標簽,也加深了預測難度。
Q6:距易觀算法大賽決賽只剩下1周的時間,對參賽選手們您有什么建議(通關(guān)秘籍)?
郭煒:最后一周已進入了在線調(diào)試階段,希望選手們再接再厲,在有監(jiān)督錄屏的環(huán)境下,扎扎實實做好自己的比賽,最終獲得佳績。對于通關(guān)秘訣,其實就是厚積薄發(fā)。
Q7:截至目前,算法大賽給您留下了哪些深刻印象?
郭煒:去年OLAP大賽冠軍使用的ClickHouse在易觀OLAP大賽的推動下一炮打響。坊間打趣道:“易觀OLAP大賽一聲炮響,送來了喀秋莎數(shù)據(jù)庫(ClickHouse)”。隨后易觀2月份又組織了MeetUp,俄羅斯ClickHouse創(chuàng)始團隊來到北京,大力稱贊OLAP大賽和易觀對于大數(shù)據(jù)新技術(shù)推廣的貢獻。通過易觀OLAP大賽,讓國內(nèi)大數(shù)據(jù)開發(fā)者和全世界最新最火的技術(shù)直接相連,使大數(shù)據(jù)行業(yè)進一步發(fā)展。
Q8:選手們參加算法大賽將能夠獲得什么回報?
郭煒:對于開源組,我們準備了10萬元現(xiàn)金大獎,同時公布排名情況。商業(yè)組也將公布排名,并頒發(fā)榮譽證書,打造業(yè)內(nèi)企業(yè)的數(shù)據(jù)硬實力。大賽對學生們來說是一次很好的鍛煉機會,未來應聘更易贏得大公司的青睞。同時,所有參賽者都可以參加易觀A10峰會技術(shù)場全天活動和第二天的國際開源組Meetup活動。這場開發(fā)者的行業(yè)盛會,絕對精彩無限。
易觀算法大賽倒計時最后一周,優(yōu)秀選手呼之欲出。選手排名將會在10月27日易觀A10峰會上重磅揭曉,這場一年一度的大數(shù)據(jù)盛典,到底誰能成為技術(shù)黑馬脫穎而出?敬請期待易觀A10峰會盛典,屆時將為你揭曉謎底!
注:漏斗計算規(guī)則賽題服務器由UCloud 贊助,總價值20萬人民幣,供參賽選手比賽使用。
UCloud,國內(nèi)領(lǐng)先的云計算服務平臺,自主研發(fā)并提供計算資源、存儲資源、網(wǎng)絡資源等企業(yè)必需的基礎(chǔ)IT架構(gòu)服務,深入了解互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、傳統(tǒng)企業(yè)不同場景下的業(yè)務需求,提供全局解決方案。UCloud深耕用戶需求,秉持產(chǎn)品快速定制、貼身應需服務的理念,推出適合行業(yè)特性的產(chǎn)品與服務。
2018易觀A10峰會