大數(shù)據(jù)在近幾年成為一個火爆的名詞，而企業(yè)針對數(shù)據(jù)的分析從未停止過。從過去的決策支持，到現(xiàn)在普及的精準推薦乃至未來基于實時分析的AI交互，大數(shù)據(jù)以及相關(guān)技術(shù)一直是這些業(yè)務發(fā)展的基石。

易觀的實時計算框架是“秒算”，它支持易觀百億級別數(shù)據(jù)的獲取、存儲和計算。實時計算核心包括數(shù)據(jù)的實時獲取和數(shù)據(jù)的實時計算兩部分，對于高性能并發(fā)的要求是秒級響應。易觀的“秒算”是結(jié)合開源計算平臺、自主研發(fā)SDK和接收系統(tǒng)研制的實時計算框架，目前支持Android、IOS、Web、H5和微信小程序的實時計算，支持每日百億級別數(shù)據(jù)并發(fā)。

實時計算框架首先需要解決數(shù)據(jù)的實時接收的問題，在網(wǎng)絡帶寬、接收性能、安全防控等情況下，如何實現(xiàn)海量并發(fā)數(shù)據(jù)平穩(wěn)接收具有較大挑戰(zhàn)。易觀采用混合云架構(gòu)實現(xiàn)百億級超長數(shù)據(jù)包的接收，接收端使用公有云彈性擴展，在公有云的基礎上利用Edge-computing技術(shù)實現(xiàn)云+端的混合計算和策略控制。

云端的主要策略有時間間隔、失敗、清洗、分流等策略，對應的設備端也有預先計算、失敗、更新、?；畹炔呗耘浜?，處理端則利用私有云平臺獨占性能、技術(shù)迭代迅速、投入TCO可控等優(yōu)勢，這樣的混合云架構(gòu)抗住了每日150億條 2GB接收數(shù)據(jù)帶寬的生產(chǎn)環(huán)境檢驗。

數(shù)據(jù)接收端與后臺實時計算相結(jié)合，實現(xiàn)了百億級別的數(shù)據(jù)采集和計算。易觀的實時計算整體架構(gòu)如下：

實時計算架構(gòu)圖

第一部分是數(shù)據(jù)源層，接入該部分從前端業(yè)務系統(tǒng)獲取數(shù)據(jù)；

第二部分是公有云的數(shù)據(jù)接收層，這部分主要是接收調(diào)度策略和分布式接收服務；

第三部分是數(shù)據(jù)層，這部分是整個過程的核心，最重要的是實時處理部分，數(shù)據(jù)從接入層接入，經(jīng)過實時處理后落入HBase集群，其中由基礎支撐平臺對整個處理部分提供支撐；

第四部分是服務層，這部分由各種面向場景的引擎組成；

第五部分是應用層，目前支持的產(chǎn)品是易觀方舟。

易觀在實時計算方面有不少應用場景，主要應用場景有：

1. 易觀H5實時計算

易觀H5實時計算

H5實時計算主要是實時展示數(shù)據(jù)的采集和清洗次數(shù)，當日新增用戶、活躍用戶、用戶打開次數(shù)、實時用戶行為等信息。

2.易觀方舟——實時計算流量數(shù)據(jù)

易觀方舟——實時計算流量

易觀方舟產(chǎn)品實時計算部分主要是實時展示當前瀏覽用戶數(shù)、訪客數(shù)、新增訪客數(shù)、獨立IP數(shù)及訪客行為信息，可以顯示某個顧客的實時來訪記錄，同時跟蹤顯示訪客當前正在訪問的頁面等信息。

3. 易觀方舟——事件漏斗分析

易觀方舟——事件漏斗分析

事件漏斗轉(zhuǎn)化能支持多種維度下總體和細分事件的實時分析。

4.易觀微信小程序?qū)崟r數(shù)據(jù)展示

易觀微信小程序?qū)崟r數(shù)據(jù)展示

易觀自主研發(fā)的小程序SDK，集用戶運營分析、轉(zhuǎn)化分析、用戶畫像、應用評價等數(shù)據(jù)分析功能于一身，通過實時分析技術(shù)將企業(yè)小程序的數(shù)據(jù)實時采集到云端，經(jīng)過大數(shù)據(jù)加工計算實時展現(xiàn)小程序相關(guān)數(shù)據(jù)。

本次著重從整體上對易觀實時計算進行介紹，后面會深入到實時計算的內(nèi)部，分享易觀在實時計算和實時分析技術(shù)上曾經(jīng)遇到的那些“坑”，敬請期待！