大數(shù)據(jù)和人工智能主宰的時(shí)代，我們的生活、工作和思維都將發(fā)生重大變革。而數(shù)據(jù)和算法，作為推動(dòng)大數(shù)據(jù)油輪前進(jìn)的雙引擎，缺一不可，弱任何一方面都不足以馳騁。在我們?nèi)諠u充盈的海量的數(shù)據(jù)資源不斷積累的過程中，以算法為核心的技術(shù)能力能否適時(shí)跟上時(shí)代需求，成為當(dāng)下大數(shù)據(jù)領(lǐng)域不得不面臨的現(xiàn)實(shí)問題。
針對(duì)“有序漏斗”難題進(jìn)行行業(yè)攻堅(jiān)的“2017易觀OLAP算法大賽”，自今年7月開通報(bào)名以來，已收到來自國(guó)內(nèi)20多個(gè)技術(shù)強(qiáng)隊(duì)和個(gè)人報(bào)名參加。目前比賽已進(jìn)入到數(shù)據(jù)環(huán)境測(cè)試階段，為即將在10月跑bench mark（正式測(cè)試及案例）做熱身。
據(jù)悉，此次算法大賽的比賽規(guī)則是：根據(jù)主辦方提供的應(yīng)用轉(zhuǎn)化和OLAP場(chǎng)景，參賽團(tuán)隊(duì)給出具體的方案，先利用測(cè)試數(shù)據(jù)集在指定測(cè)試集群上運(yùn)行給出測(cè)試結(jié)果， 最終易觀會(huì)用實(shí)際測(cè)試數(shù)據(jù)在測(cè)試集群上跑整體數(shù)據(jù)并給出用時(shí)排名。
此次算法大賽分為開源組和商業(yè)組，參賽選手分別來自國(guó)內(nèi)數(shù)據(jù)領(lǐng)域的知名企業(yè)以及高校團(tuán)隊(duì)。開源組有來自小米、美團(tuán)、熱云數(shù)據(jù)、原速數(shù)據(jù)、LinkDoc、huhu、樂享天下、牛辦科技、上海睿民以及北京交通大學(xué)的數(shù)據(jù)高手；商業(yè)組則包括咪咕音樂、南京帆軟軟件、北京樂見科技、杭州玳數(shù)科技、北京潤(rùn)乾信息、Kyligence、AggreData、Gbase等企業(yè)的技術(shù)強(qiáng)隊(duì)。
為什么一場(chǎng)算法比賽，會(huì)聚集國(guó)內(nèi)如此多的數(shù)據(jù)高手和企業(yè)強(qiáng)隊(duì)？
這還得從“有序漏斗”說起。
移動(dòng)互聯(lián)網(wǎng)在中國(guó)的發(fā)展繁盛，驅(qū)動(dòng)產(chǎn)品迭代和運(yùn)營(yíng)的數(shù)據(jù)和算法成為企業(yè)爭(zhēng)相掌握的核心，不少公司甚至投入大量的人力和經(jīng)費(fèi)，來潛心打造自家移動(dòng)App的 “用戶行為分析”大數(shù)據(jù)工具。但最終目的基本大同小異，就是及時(shí)通過數(shù)據(jù)分析反饋來更好地優(yōu)化自家產(chǎn)品，比如查看日活和月活，查看渠道來源，提高留存、轉(zhuǎn)化和活躍度等。
而“有序漏斗”就是其中的技術(shù)門檻。作為大數(shù)據(jù)產(chǎn)品研發(fā)過程的一個(gè)核心需求，“有序漏斗”是幫助運(yùn)營(yíng)人員分析一個(gè)多步驟過程中每一步的轉(zhuǎn)化與流失情況。計(jì)算過程比較復(fù)雜，目前行業(yè)內(nèi)解決方案在數(shù)據(jù)量較大的情況下，往往效率很低。
易觀大數(shù)據(jù)工具研發(fā)已有五六年，在這過程中，也產(chǎn)生了諸如易觀千帆、易觀萬像這樣重量級(jí)的大數(shù)據(jù)產(chǎn)品。但計(jì)算效率仍舊是個(gè)問題，特別是面對(duì)越來越海量的數(shù)據(jù)計(jì)算需求，為解決這個(gè)行業(yè)難題，也為了更好地提升產(chǎn)品體驗(yàn)，易觀決定將此需求對(duì)外公開，通過廣發(fā)英雄帖，招募國(guó)內(nèi)數(shù)據(jù)大牛一同攻堅(jiān)克難破解“有序漏斗”難題。
大數(shù)據(jù)是時(shí)代趨勢(shì)，是整個(gè)人類社會(huì)發(fā)展的進(jìn)程。經(jīng)歷過互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)階段的行業(yè)競(jìng)爭(zhēng)和占位比拼。在大數(shù)據(jù)和人工智能時(shí)代，在以算法和數(shù)據(jù)為雙引擎的推進(jìn)程中，則需要轉(zhuǎn)變思維，正如李彥宏在百度AI開發(fā)者大會(huì)上提到，“AI時(shí)代的開發(fā)者們不能再做孤膽英雄，大家要一起共享共贏。”大數(shù)據(jù)倡導(dǎo)共享流動(dòng)，算法技術(shù)也應(yīng)該提倡交流切磋，共同推進(jìn)大數(shù)據(jù)時(shí)代引擎的基建完善。
數(shù)據(jù)和算法不光是雙引擎，他們還互相推動(dòng)進(jìn)步提升。更優(yōu)勢(shì)的算法技術(shù)能推動(dòng)產(chǎn)生更多有價(jià)值的數(shù)據(jù)，而大量的數(shù)據(jù)也會(huì)反歸來推動(dòng)算法的不斷提升和成熟。截止2017年第二季度，易觀覆蓋20.7億智能終端，監(jiān)測(cè)超過205萬款移動(dòng)應(yīng)用，數(shù)據(jù)儲(chǔ)存容量5.8PB，每日處理數(shù)據(jù)242億條。易觀有數(shù)據(jù)資源，也有大數(shù)據(jù)算法技術(shù)的經(jīng)驗(yàn)優(yōu)勢(shì)，在數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、實(shí)時(shí)計(jì)算和數(shù)據(jù)應(yīng)用等方面都有多年的技術(shù)儲(chǔ)備。作為活動(dòng)發(fā)起者和主辦方，易觀愿意拿出數(shù)據(jù)資源，同時(shí)也愿意和行業(yè)大牛一起切磋討論，攜手進(jìn)行行業(yè)算法技術(shù)的升級(jí)試驗(yàn)。
大數(shù)據(jù)是全社會(huì)共同的未來。人工智能和數(shù)據(jù)算法的進(jìn)階不是一家公司的專利和責(zé)任，它應(yīng)該是全行業(yè)來共同面對(duì)的機(jī)遇和挑戰(zhàn)。易觀呼吁，數(shù)據(jù)大牛和技術(shù)強(qiáng)隊(duì)?wèi)?yīng)該聯(lián)合起來，打通現(xiàn)有資源和平臺(tái)，共同攻破“有序漏斗”難題，在更高更新的層面展開下一輪的技術(shù)領(lǐng)航。
?