10月26日-27日,以“數(shù)造未來 精益成長”為主題的2018易觀A10峰會在北京海航大廈如期舉行。50+位嘉賓大咖齊聚大會現(xiàn)場,共同探討和分享在數(shù)據(jù)驅(qū)動下的企業(yè)精益成長之道。
厚積薄發(fā),榮耀時(shí)刻
本屆算法大賽共有700支隊(duì)伍參加,經(jīng)過數(shù)輪激烈角逐后,來自廣州的李本旺團(tuán)隊(duì)“housepower”以絕對優(yōu)勢奪得漏斗計(jì)算規(guī)則賽題開源組冠軍,而性別年齡預(yù)測賽題開源組冠軍由林望黎團(tuán)隊(duì)斬獲。兩組冠軍分別攬獲5萬元現(xiàn)金獎(jiǎng)勵(lì),成為本次大賽的最終贏家。另有技術(shù)專場meetup,來自俄羅斯的ClickHouse技術(shù)團(tuán)隊(duì)和數(shù)據(jù)愛好者們匯聚一堂,共同探討了數(shù)據(jù)算法的應(yīng)用發(fā)展。
彩蛋——拿獎(jiǎng)拿到手軟秘籍
賽后,小編有幸采訪到漏斗冠軍李本旺,上屆OLAP算法大賽他憑借其優(yōu)異表現(xiàn)成為大賽最大黑馬,今年再次奪冠。為何他能連續(xù)兩次斬獲冠軍頭銜?下面就讓我們一起來了解一下。(以下為采訪實(shí)錄)
Q1:首先恭喜你們獲得本次算法大賽的冠軍,能否簡單介紹下你們團(tuán)隊(duì)?
李本旺:我們團(tuán)隊(duì)三人,大家都是大數(shù)據(jù)和AI的愛好者。他們的實(shí)力都很棒。
其中宋強(qiáng)是我同學(xué),他畢業(yè)于中科院自動化研究所,對推薦系統(tǒng)和圖像識別領(lǐng)域尤為擅長,獲得過國際多媒體workshop圖像識別比賽冠軍,國際計(jì)算機(jī)視覺workshop比賽亞軍,我們還一起拿過天池云上智能識別比賽亞軍。而張健, 目前是ClickHouse社區(qū)比較活躍的貢獻(xiàn)者, 對ClickHouse比較熟悉。關(guān)于我本人,目前在一家游戲直播公司做高級數(shù)據(jù)工程師(搬磚)。
Q2:是什么原因讓你決定再次來參加易觀算法大賽呢?
李本旺:我對ClickHouse數(shù)據(jù)庫非常感興趣,但去年的ClickHouse meetup沒能參加,有點(diǎn)遺憾。得知這個(gè)比賽第二天就有meetup,也想見見幾位朋友,而且今年的復(fù)雜漏斗也是可以基于ClickHouse做定向優(yōu)化并解決,所以便決定報(bào)名參賽。
Q3:能否簡要描述下你們團(tuán)隊(duì)在比賽時(shí)所采用的解題思路及算法亮點(diǎn)?
李本旺:關(guān)于解題的方法依舊是基于ClickHouse設(shè)計(jì)了UDAF函數(shù),和去年思路相差不大。但今年漏斗計(jì)算較為復(fù)雜。在算法處理過程中,我們選擇自定義壓縮、自動化調(diào)參、提前聚合,充分發(fā)揮單節(jié)點(diǎn)性能,以及通用規(guī)則攔截器等方式。簡言之,就是我們特別注重算法細(xì)節(jié)優(yōu)化,我們把能想到的細(xì)節(jié),每一處都進(jìn)行了“死磕”。
另外,我們做了一套自動化測試框架,能夠自動完成一些參數(shù)的評測并選出最佳參數(shù),節(jié)省了很多時(shí)間。當(dāng)然,在比賽中我們也有不足之處。我們的算法實(shí)現(xiàn)并不是最優(yōu)秀的,賽后我們和商業(yè)組冠軍討論了算法實(shí)現(xiàn)上的相關(guān)細(xì)節(jié),發(fā)現(xiàn)我們還有很大的提升空間。
Q4:你認(rèn)為這次團(tuán)隊(duì)奪冠的重要因素是什么?如何評價(jià)自己和隊(duì)友的表現(xiàn)?
李本旺:除了技術(shù)上的實(shí)力,我認(rèn)為團(tuán)隊(duì)合作更為重要。很感謝我的隊(duì)友們,我們配合得非常默契,我主要負(fù)責(zé)算法的技術(shù)選型、總體架構(gòu)以及核心代碼的實(shí)現(xiàn),張健負(fù)責(zé)自定義壓縮的細(xì)節(jié)優(yōu)化,而宋強(qiáng)負(fù)責(zé)算法性能調(diào)優(yōu)。正是因?yàn)殛?duì)友們的密切配合,才有了最終奪冠的好成績。
Q5:連續(xù)兩屆獲得算法大賽冠軍,能和大家分享下你的感受嗎?
李本旺:在心態(tài)上我會更趨于平淡,希望通過易觀算法大賽,讓更多人了解并使用ClickHouse這個(gè)高性能OLAP數(shù)據(jù)庫。
Q6:ClickHouse這款神級開源軟件,目前在中國發(fā)展應(yīng)用如何?
李本旺:ClickHouse在過去一年發(fā)展迅速,目前中國用戶已成為除俄羅斯本土以外發(fā)展最快的用戶群。國內(nèi)的阿里、騰訊、新浪、頭條、快手等代表性公司都對ClickHouse這個(gè)數(shù)據(jù)庫有所研究。令人非常關(guān)注的是,未來在實(shí)時(shí)分析領(lǐng)域,ClickHouse數(shù)據(jù)庫絕對會成為首選的技術(shù)選型。
至此,第2屆易觀算法大賽正式落幕,同時(shí)也要感謝Ucloud強(qiáng)大的技術(shù)支持。算法大賽是國內(nèi)(外)科技人才溝通接觸的橋梁,不斷為行業(yè)注入新鮮活力。未來易觀將繼續(xù)堅(jiān)持以海量場景為基礎(chǔ),探索前沿?cái)?shù)據(jù)科技,不斷推動大數(shù)據(jù)分析發(fā)展。這一次,我們不說再見,只為下一次更好的相聚。同時(shí)易觀也期待更多高校學(xué)子和數(shù)據(jù)愛好者的加入!