2017易觀OLAP算法大賽自今年7月開(kāi)通報(bào)名以來(lái)，已收到國(guó)內(nèi)40多個(gè)技術(shù)強(qiáng)隊(duì)和個(gè)人報(bào)名參加，其中不乏小米、美團(tuán)等技術(shù)強(qiáng)隊(duì)。而本次比賽主要是針對(duì)“有序漏斗”難題進(jìn)行行業(yè)攻堅(jiān)，目前賽程已經(jīng)入到正式競(jìng)賽環(huán)節(jié)。

在參賽隊(duì)伍巔峰角逐之際，我們采訪到此次大賽主要負(fù)責(zé)人易觀CTO郭煒，以下為采訪實(shí)錄：

Q1、易觀為什么要舉辦這次算法大賽？

郭煒：隨著互聯(lián)網(wǎng)發(fā)展進(jìn)入下半場(chǎng)，越來(lái)越多的企業(yè)進(jìn)入到存量發(fā)展階段，更了解自己用戶的企業(yè)將會(huì)擁有絕佳優(yōu)勢(shì)，而“精細(xì)化運(yùn)營(yíng)”在這個(gè)階段中起著舉足輕重的作用，怎么能更好、更快地知道在哪一個(gè)環(huán)節(jié)的運(yùn)營(yíng)需要提升呢？

漏斗轉(zhuǎn)化是其中很重要的一種手段，但現(xiàn)如今面臨動(dòng)輒百億級(jí)海量數(shù)據(jù)和多維分析需要實(shí)時(shí)響應(yīng)的情況下，市面上現(xiàn)有的技術(shù)解決方案常常捉襟見(jiàn)肘，為了更好的提升產(chǎn)品體驗(yàn)及降低實(shí)時(shí)數(shù)據(jù)分析行業(yè)的門檻，易觀決定以“漏斗”為需求，廣發(fā)英雄帖，號(hào)召國(guó)內(nèi)數(shù)據(jù)大牛一起共同解決行業(yè)難題。

Q2、易觀目前在算法技術(shù)方面的實(shí)力水平如何？

郭煒：截止2017年第3季度，易觀覆蓋21.9億智能終端，監(jiān)測(cè)超過(guò)251萬(wàn)款移動(dòng)應(yīng)用，數(shù)據(jù)儲(chǔ)存容量5.8PB，每日處理數(shù)據(jù)達(dá)到261億條。在這樣的業(yè)務(wù)擠壓背景下，技術(shù)團(tuán)隊(duì)不斷升級(jí)，不斷將業(yè)內(nèi)前沿先進(jìn)的算法技術(shù)或大牛引入易觀，在易觀發(fā)布的千帆、方舟、萬(wàn)象等產(chǎn)品里，處處有算法的深刻烙印，比如最新發(fā)布千帆產(chǎn)品中A3機(jī)器學(xué)習(xí)算法的成功應(yīng)用，大大的提升指標(biāo)數(shù)據(jù)的準(zhǔn)確度。 但我給易觀技術(shù)團(tuán)隊(duì)目前實(shí)現(xiàn)的漏斗算法打60分，我們希望通過(guò)本次大賽，引進(jìn)更先進(jìn)的算法和實(shí)現(xiàn)，使“有序漏斗”不再成為業(yè)內(nèi)難題。

Q3、本次大賽參賽熱情如何（報(bào)名情況）？

郭煒：老實(shí)說(shuō)，大家對(duì)這次大賽的熱情出乎我的意料，這次大賽吸引了很多業(yè)界數(shù)據(jù)大牛和技術(shù)強(qiáng)隊(duì)報(bào)名參賽，其中包括想小米、美團(tuán)點(diǎn)評(píng)、阿里云、LinkDoc、AggreData、Kyligence、hulu、GBase、原速數(shù)據(jù)、熱云數(shù)據(jù)、牛辦科技、潤(rùn)乾、上海跬智、上海睿民、帆軟軟件、樂(lè)享天下、樂(lè)見(jiàn)科技等40多家知名企業(yè)和個(gè)人參加。

Q4、大賽進(jìn)行過(guò)程中有什么有趣或者印象深刻的事？

郭煒：讓我印象特別深刻的是有一組參賽伙伴在凌晨?jī)牲c(diǎn)給我們的小伙伴發(fā)短信，還在積極的部署環(huán)境。還有，周末休息日的時(shí)候，小伙伴們也是會(huì)經(jīng)常接到參賽伙伴的反饋信息：有的是反饋測(cè)試場(chǎng)景的結(jié)果信息，有的是反饋可以成功登陸；也有一些遇到了問(wèn)題，比如硬件方面Ucloud工作人員都給予了高度配合，在此我也要感謝下Ucloud在周末也一直積極地支持。

此外，這次參加比賽也有一些在校大學(xué)生，為給他們提供方便，我們也會(huì)安排在周末兩天進(jìn)行比賽。整個(gè)過(guò)程中，伙伴們?yōu)楸荣惖乃俣绕幢M全力和對(duì)比賽的熱情，讓我很期待大家比賽都能賽出好成績(jī)。

Q5、“有序漏斗”難題，到底有多難？

郭煒：現(xiàn)在針對(duì)OLAP，行業(yè)通常使用預(yù)建Cube、ROLAP并行化加速計(jì)算或者Search Engine等技術(shù)進(jìn)行， “有序漏斗”難在以下幾個(gè)方面：

1、數(shù)據(jù)量巨大，達(dá)到幾十億量級(jí)；

2、漏斗是運(yùn)營(yíng)人員現(xiàn)創(chuàng)建的，不同的運(yùn)營(yíng)人員由于關(guān)注業(yè)務(wù)點(diǎn)不同，指定的事件發(fā)生的先后順序也不一樣，這就基本排除了預(yù)建Cube的可能性；

3、漏斗分析中包含“時(shí)間窗口”的概念，即需要保證所有事件在同一個(gè)窗口期內(nèi)發(fā)生；

4、漏斗分析中可以設(shè)置事件屬性。比如“搜索商品”事件，可以設(shè)置只計(jì)算“搜索商品”事件的屬性中“content”字段為“computer”的用戶。不同事件的屬性不一、數(shù)量也不一樣，這對(duì)數(shù)據(jù)的存儲(chǔ)方式帶來(lái)了不小的挑戰(zhàn)。

以上4個(gè)方面都給有序漏斗的解決提出了巨大的挑戰(zhàn)，特別是易觀在本次比賽中為了更貼合實(shí)際場(chǎng)景，對(duì)硬件等資源也進(jìn)行了嚴(yán)格限制(16核、16G內(nèi)存、SSD數(shù)據(jù)盤300G的ucloud云主機(jī)4臺(tái))的情況下，難度可想而知！

Q6、算法升級(jí)，能帶來(lái)什么重大變化和影響？

郭煒：在消費(fèi)升級(jí)的大背景下，用戶行為不斷裂變，用戶需求與行為也更加碎片化；同時(shí)二、三線及以下城市的網(wǎng)民快速增長(zhǎng)，互聯(lián)網(wǎng)網(wǎng)民結(jié)構(gòu)正在發(fā)生變化，伴隨著以上，市場(chǎng)競(jìng)爭(zhēng)已經(jīng)逐漸在存量市場(chǎng)中展開(kāi)，愈發(fā)激烈。

有序查詢的算法升級(jí)和開(kāi)源，是希望可以給普通的企業(yè)也有BAT的數(shù)據(jù)分析能力，幫助普通企業(yè)深度查看用戶的行為和轉(zhuǎn)化情況，可以最有效率的評(píng)估企業(yè)渠道ROI以及企業(yè)互聯(lián)網(wǎng)產(chǎn)品的關(guān)鍵路徑。

Q7、算法大賽，最后將以什么形式來(lái)呈現(xiàn)結(jié)果？

郭煒：本次算法大賽分為兩組，分別是開(kāi)源組和商業(yè)組。所有提交的方案都必須可行，開(kāi)源組須公開(kāi)思路及源代碼，商業(yè)組只須公開(kāi)思路。最后的比賽結(jié)果，我們也將在10月27日-28日舉行2017易觀A10峰會(huì)上公布，獲勝者將在峰會(huì)上分享成果，歡迎大家關(guān)注。

Q8、參賽者參加比賽將會(huì)獲得什么回報(bào)？

郭煒： 雖然說(shuō)算法大賽的最終目的是進(jìn)行行業(yè)技術(shù)攻堅(jiān)，但我們還是為參賽選手設(shè)置了獎(jiǎng)金和榮譽(yù)證書。具體情況是：

開(kāi)源組設(shè)置獎(jiǎng)金池和排行榜，第1名現(xiàn)金人民幣10萬(wàn)（稅前）獎(jiǎng)勵(lì)， 前3名將獲得易觀證書；商業(yè)組設(shè)置排行榜，前3名獲得易觀證書。

據(jù)悉，此次算法大賽的頒獎(jiǎng)儀式將于10月27日“易觀2017A10大數(shù)據(jù)應(yīng)用峰會(huì)”上進(jìn)行，作為易觀A10峰會(huì)的重要環(huán)節(jié)，OLAP算法大賽優(yōu)秀案例將有機(jī)會(huì)在峰會(huì)上展示，與國(guó)內(nèi)頂級(jí)技術(shù)大咖交流切磋。

這次查詢算法大賽驚喜頻出，特別值得一提的是，在近日開(kāi)源組的小伙伴用了一個(gè)小眾開(kāi)源數(shù)據(jù)引擎，比主辦方提供的60分的benchmark速度快了近10倍！想知道怎么做嗎？掃描下方二維碼隨時(shí)關(guān)注大賽進(jìn)程。