DT時(shí)代部署安排，人們比以往任何時(shí)候都收集到更多的數(shù)據(jù)。據(jù)IDC報(bào)告技術，預(yù)計(jì)到2020年推廣開來，全球數(shù)據(jù)總量將超過(guò)40ZB(相當(dāng)于40萬(wàn)億GB)，這一數(shù)據(jù)量是2011年的22倍相對較高！正在“爆炸式”增長(zhǎng)的數(shù)據(jù)資源配置，其潛在巨大價(jià)值有待發(fā)掘。它作為一種新的能源相關，正在發(fā)生聚變大力發展，變革著我們的生產(chǎn)和生活，催生了當(dāng)下大數(shù)據(jù)行業(yè)的熱火朝天生產效率。但是我們?nèi)绻荒軐?duì)這些數(shù)據(jù)進(jìn)行有序產能提升、有結(jié)構(gòu)的分類組織和存儲(chǔ)，如果不能有效利用并發(fā)掘產(chǎn)生價(jià)值節點，那么它也是一個(gè)數(shù)據(jù)災(zāi)難通過活化，它猶如堆積如山的垃圾，給我們企業(yè)帶來(lái)的是極大的成本的特點。

　　現(xiàn)實(shí)情況是：阿里集團(tuán)的數(shù)據(jù)存儲(chǔ)已經(jīng)逼近EB級(jí)別健康發展，部分單張表每天的數(shù)據(jù)記錄數(shù)高達(dá)幾千億條；阿里內(nèi)部大數據，離線數(shù)據(jù)處理每天面對(duì)的是百萬(wàn)級(jí)規(guī)模的作業(yè)長效機製，每天有數(shù)千位活躍的工程師在進(jìn)行數(shù)據(jù)處理工作，加上阿里大數(shù)據(jù)的井噴式爆發(fā)空間廣闊，給數(shù)模型營造一處、數(shù)據(jù)研發(fā)、數(shù)據(jù)質(zhì)量和運(yùn)維保障工作增加了更高的難度支撐能力。

　　面對(duì)阿里內(nèi)部成千上萬(wàn)對(duì)數(shù)據(jù)有著深刻需求的員工資源優勢，以及外部千萬(wàn)級(jí)對(duì)數(shù)據(jù)有迫切渴望的商家和合作伙伴，如何有效滿足他們的需求特征更加明顯，提高他們對(duì)數(shù)據(jù)使用的滿意度，是數(shù)據(jù)服務(wù)講理論、數(shù)據(jù)產(chǎn)品面臨的更大挑戰(zhàn)的可能性。

　　\

　　注：阿里巴巴數(shù)據(jù)體系架構(gòu)圖

　　上圖是阿里巴巴數(shù)據(jù)體系架構(gòu)圖，可以清晰地看到我們的數(shù)據(jù)體系主要分為數(shù)據(jù)采集服務為一體、數(shù)據(jù)計(jì)算問題、數(shù)據(jù)服務(wù)和數(shù)據(jù)應(yīng)用四大層次。

　　1數(shù)據(jù)采集層

　　阿里巴巴是一家多業(yè)態(tài)的互聯(lián)網(wǎng)公司，幾億規(guī)模的用戶（如商家系統穩定性、消費(fèi)者拓展基地、商業(yè)組織等）在平臺(tái)上從事商業(yè)、消費(fèi)實力增強、娛樂(lè)等活動(dòng)體系流動性，每時(shí)每刻都在產(chǎn)生海量的數(shù)據(jù)，數(shù)據(jù)采集作為阿里數(shù)據(jù)體系第一環(huán)尤為重要帶來全新智能。因此阿里巴巴建立了一套標(biāo)準(zhǔn)的數(shù)據(jù)采集體系方案實現了超越，并致力全面、高性能去完善、規(guī)范地完成海量數(shù)據(jù)的采集橋梁作用，并將其傳輸?shù)酱髷?shù)據(jù)平臺(tái)。

　　阿里巴巴的日志采集體系包括兩大體系：Aplus.JS是Web端日志采集技術(shù)方案求索；UserTack是APP端日志采集技術(shù)方案讓人糾結。

　　在采集技術(shù)之上，阿里巴巴有面向各個(gè)場(chǎng)景的埋點(diǎn)規(guī)范穩定發展，來(lái)滿足通用瀏覽管理、點(diǎn)擊、特殊交互能力建設、APP事件模樣、H5及APP里的H5和Native日志數(shù)據(jù)打通等多種業(yè)務(wù)場(chǎng)景。同時(shí)表現明顯更佳，建立了一套高性能狀態、高可靠性的數(shù)據(jù)傳輸體系完成數(shù)據(jù)從生產(chǎn)業(yè)務(wù)端到大數(shù)據(jù)系統(tǒng)的傳輸；在傳輸方面我們采用TimeTunnel（TT）指導，它既包括數(shù)據(jù)庫(kù)的增量數(shù)據(jù)傳輸廣泛認同，也包括日志數(shù)據(jù)的傳輸；TT作為數(shù)據(jù)傳輸服務(wù)的基礎(chǔ)架構(gòu)流動性，既能支持實(shí)時(shí)流式計(jì)算鍛造、也能實(shí)時(shí)各種時(shí)間窗口的批量計(jì)算。另一方面持續創新，也通過(guò)數(shù)據(jù)同步工具（DataX和同步中心改善，其中同步中心是基于DataX易用性封裝）直連異構(gòu)數(shù)據(jù)庫(kù)（備庫(kù)）來(lái)抽取各種時(shí)間窗口的數(shù)據(jù)。

　　2數(shù)據(jù)計(jì)算層

　　從采集系統(tǒng)中收集了大量的原始數(shù)據(jù)后協調機製，數(shù)據(jù)只有被整合信息化、計(jì)算才能洞察商業(yè)規(guī)律、挖掘潛在信息實踐者、實(shí)現(xiàn)大數(shù)據(jù)價(jià)值取得明顯成效，達(dá)到賦能商業(yè)、創(chuàng)造商業(yè)的目的。面對(duì)海量的數(shù)據(jù)和復(fù)雜的計(jì)算創新的技術，阿里巴巴的數(shù)據(jù)計(jì)算層包括兩大體系：數(shù)據(jù)存儲(chǔ)及計(jì)算云平臺(tái)（離線計(jì)算平臺(tái)MaxCompute和實(shí)時(shí)計(jì)算平臺(tái)StreamCompute）和數(shù)據(jù)整合及管理體系（OneData）發揮。MaxCompute是阿里巴巴自主研發(fā)的離線大數(shù)據(jù)平臺(tái)，其豐富的功能和強(qiáng)大的存儲(chǔ)及計(jì)算能力使得阿里巴巴的大數(shù)據(jù)有了強(qiáng)大的存儲(chǔ)和計(jì)算引擎快速增長；StreamCompute是阿里巴巴自主研發(fā)的流式大數(shù)據(jù)平臺(tái)開放以來，在內(nèi)部較好的支持了阿里巴巴流式計(jì)算需求；OneData是數(shù)據(jù)整合及管理的方法體系和工具穩步前行，阿里巴巴的大數(shù)據(jù)工程師在其體系下結構不合理，構(gòu)建統(tǒng)一、規(guī)范逐步改善、可共享的全域數(shù)據(jù)體系意見征詢，避免數(shù)據(jù)的冗余和重復(fù)建設(shè)，規(guī)避數(shù)據(jù)煙囪和不一致大大提高，充分發(fā)揮阿里巴巴在大數(shù)據(jù)海量的必然要求、多樣性方面的獨(dú)特優(yōu)勢(shì)。

　　借助OneData方法體系取得了一定進展，我們構(gòu)建了阿里巴巴的數(shù)據(jù)公共層應用擴展，并可以幫助相似大數(shù)據(jù)項(xiàng)目快速落地實(shí)現(xiàn)。

　　從數(shù)據(jù)計(jì)算頻率角度來(lái)看增多，阿里數(shù)據(jù)倉(cāng)庫(kù)可以分為離線數(shù)據(jù)倉(cāng)庫(kù)和實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)活動上。離線數(shù)據(jù)倉(cāng)庫(kù)主要是傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)概念，數(shù)據(jù)計(jì)算頻率是主要是以天（包含小時(shí)進一步推進、周和月）為單位導向作用；如T-1，則每天凌晨處理上一天的數(shù)據(jù)應用的選擇。但是隨著業(yè)務(wù)的發(fā)展特別是交易過(guò)程的縮短十大行動，用戶對(duì)數(shù)據(jù)產(chǎn)出的實(shí)時(shí)性要求逐漸提高，所以阿里的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)應(yīng)運(yùn)而生背景下。雙11實(shí)時(shí)數(shù)據(jù)直播大屏綜合措施，就是實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)的一種典型應(yīng)用。

　　阿里數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)加工鏈路也是遵循業(yè)界的分層理念：包括操作數(shù)據(jù)層（ODS自然條件，Operational Data Store）設計標準、明細(xì)數(shù)據(jù)層(DWD，Data Warehouse Detail)將進一步、匯總數(shù)據(jù)層(DWS, Data Warehouse Summary)和應(yīng)用數(shù)據(jù)層(ADS充分發揮，Application Data Store)。通過(guò)數(shù)據(jù)倉(cāng)庫(kù)不同層次之間的加工過(guò)程實(shí)現(xiàn)從數(shù)據(jù)資產(chǎn)向信息資產(chǎn)的轉(zhuǎn)化成就，并且對(duì)整個(gè)過(guò)程進(jìn)行有效的元數(shù)據(jù)管理及數(shù)據(jù)質(zhì)量處理。

　　在阿里大數(shù)據(jù)系統(tǒng)中，元數(shù)據(jù)模型整合及應(yīng)用是一個(gè)重要的組成部分系統。主要包含數(shù)據(jù)源元數(shù)據(jù)非常重要、數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)、數(shù)據(jù)鏈路元數(shù)據(jù)空間廣闊、工具類元數(shù)據(jù)營造一處、數(shù)據(jù)質(zhì)量類元數(shù)據(jù)等。元數(shù)據(jù)應(yīng)用主要面向數(shù)據(jù)發(fā)現(xiàn)知識和技能、數(shù)據(jù)管理等取得顯著成效，如用于存儲(chǔ)、計(jì)算和成本管理等實現。

　　3數(shù)據(jù)服務(wù)層

　　當(dāng)數(shù)據(jù)已被整合和計(jì)算好不容忽視，需要提供給產(chǎn)品和應(yīng)用進(jìn)行數(shù)據(jù)消費(fèi)，為了更好的性能和體驗(yàn)可以使用，阿里巴巴構(gòu)建了自己的數(shù)據(jù)服務(wù)層進入當下，通過(guò)接口服務(wù)化方式對(duì)外提供數(shù)據(jù)服務(wù)。針對(duì)不同的需求效高化，數(shù)據(jù)服務(wù)層的數(shù)據(jù)源架構(gòu)在多種數(shù)據(jù)庫(kù)之上阿里巴巴信息采集器 新體系，如Mysql和Hbase等。后續(xù)將逐漸遷移至阿里云云數(shù)據(jù)庫(kù)ApsaraDB for RDS（簡(jiǎn)稱RDS）和表格存儲(chǔ)（Table Store）等創造。

　　數(shù)據(jù)服務(wù)可以使應(yīng)用對(duì)底層數(shù)據(jù)存儲(chǔ)透明不難發現，將海量數(shù)據(jù)方便高效地開放給集團(tuán)內(nèi)部各應(yīng)用使用。現(xiàn)數(shù)據(jù)服務(wù)每天幾十億的數(shù)據(jù)調(diào)用量設備製造，如何在性能發展需要、穩(wěn)定性、擴(kuò)展性等多方面更好地服務(wù)用戶信息化；如何滿足應(yīng)用各種復(fù)雜的數(shù)據(jù)服務(wù)需求方式之一；如何保證雙11媒體大屏的數(shù)據(jù)服務(wù)接口的高可用；隨著業(yè)務(wù)的發(fā)展新型儲能，數(shù)據(jù)服務(wù)也在不斷前進(jìn)創新能力。

　　數(shù)據(jù)服務(wù)層對(duì)外提供數(shù)據(jù)服務(wù)主要是通過(guò)OneService平臺(tái)。OneService以數(shù)據(jù)倉(cāng)庫(kù)整合計(jì)算好的數(shù)據(jù)作為數(shù)據(jù)源範圍，對(duì)外通過(guò)接口的方式提供數(shù)據(jù)服務(wù)求得平衡，主要提供簡(jiǎn)單數(shù)據(jù)查詢服務(wù)保持穩定、復(fù)雜數(shù)據(jù)查詢服務(wù)（類似用戶畫像（GProfile）等復(fù)雜數(shù)據(jù)查詢服務(wù)）和實(shí)時(shí)數(shù)據(jù)推送服務(wù)等三大特色數(shù)據(jù)服務(wù)關註。

　　4數(shù)據(jù)應(yīng)用層

　　數(shù)據(jù)已經(jīng)準(zhǔn)備好，需要通過(guò)合適的應(yīng)用提供給用戶左右，讓數(shù)據(jù)最大化地發(fā)揮價(jià)值服務品質。阿里對(duì)數(shù)據(jù)的應(yīng)用表現(xiàn)在各個(gè)方面的發生，搜索組成部分、推薦、廣告新的動力、金融的過程中、信用、保險(xiǎn)廣泛關註、文娛促進進步、物流等。商家優勢領先，阿里內(nèi)部的搜索迎來新的篇章、推薦、廣告不可缺少、金融等平臺(tái)蓬勃發展，阿里內(nèi)部的運(yùn)營(yíng)和管理人員等，都是數(shù)據(jù)應(yīng)用方重要的角色，各種應(yīng)用產(chǎn)品百花齊放開放要求； ISV、研究機(jī)構(gòu)和社會(huì)組織等也可以利用我們開放的數(shù)據(jù)能力和技術(shù)1688數(shù)據(jù)采集器平臺建設。

　　阿里巴巴基于數(shù)據(jù)的應(yīng)用有很多服務機製。我們相信，數(shù)據(jù)作為新能源使用，為社會(huì)注入的改變是顯而易見的大幅拓展。我們對(duì)數(shù)據(jù)新能源的探索也不僅僅停留在狹義的技術(shù)、服務(wù)和應(yīng)用上阿里巴巴產(chǎn)品采集助手更加堅強。我們正在挖掘大數(shù)據(jù)更深層次的價(jià)值與時俱進，為社會(huì)經(jīng)濟(jì)和民生基礎(chǔ)建設(shè)等提供數(shù)據(jù)層面的解讀。