2014年，马云提出，“人类正从IT年代走向DT年代”。假如说在IT年代是以自我操控、自我办理为主，那么到了DT (Data Technology)年代，则是以效劳群众、激起出产力为主。以互联网(或许物联网)、云核算、大数据和人工智能为代表的新技能革命正在浸透至各行各业，悄悄地改变着咱们的日子。
在DT年代，人们比以往任何时候更能收集到更丰厚的数据。IDC的陈述显现:估计到2020年，全球数据总量将超越40ZB (相当于40万亿GB)，这一数据量是2011年的22倍!正在呈“爆破式”增加的数据，其潜在的巨大价值有待开掘。数据作为一种新的动力，正在发作聚变，革新着咱们的出产和日子，催生了当下大数据职业开展如火如荼的盛景。
可是假如不能对这些数据进行有序，有结构地分类安排和存储，假如不能有用运用并开掘它，继而发生价值，那么它一起也成为一场“灾祸”。无序、无结构的数据犹如堆积如山的废物，给企业带来的是令人昨舌的高额本钱。
在阿里巴巴集团内，咱们面临的现实情况是:集团数据存储到达EB等级，部分单张表每天的数据记载数高达几千亿条，在2016年“双”购物狂欢节”的24小时中，付出金额到达了1207 亿元人民币，付出峰值高达12万笔/秒，下单峰值达17.5万笔/秒，媒体直播大屏处理的总数据量高达百亿且一切数据都需求做到实时、精确地对外发表...这些给数据收集、存储和核算都带来了极大的应战。
在阿里内部，数据工程师每天要面临百万级规划的离线数据处理作业。阿里大数据井喷式的迸发，加大了数据模型、数据研制、数据质量和运维确保作业的难度。
一起，日益丰厚的业态，也带来了各式各样、纷繁杂乱的数据需求。怎么有用地满意来自职工、商家、合作伙伴等多样化的需求，进步他们对数据运用的满意度，是数据效劳和数据产品需求面临的应战。
怎么建造高效的数据模型和体系，使数据易用，防止重复建造和数据不一致性，确保数据的标准性，怎么供给高效易用的数据开发东西，怎么做好数据质量确保:怎么有用办理和操控日益增加的存储和核算耗费:怎么确保数据效劳的安稳，确保其功用:怎么规划有用的数据产品高效赋能于外部客户和内部员.....这些都给大数据体系的建造提出了更多杂乱的要求。
本文介绍的阿里巴巴大数据体系架构，就是为了满意不断改变的事务需求，一起完结体系的高度扩展性、灵活性以及数据展示的高功用而规划的。如图1.1所示是阿里巴巴大数据体系体系架构图，从图中能够明晰地看到数据体系首要分为数据收集，数据核算，数据效劳和数据运用四大层次。
1.数据收集层
阿里巴巴是一家多业态的互联网公司，几亿规划的用户(如商家、消费者、商业安排等)在渠道上从事商业、消费、文娱等活动，每时每刻都在发生海量的数据，数据收集作为阿里大数据体系体系的榜首环尤为重要。因而阿里巴巴建立了一套标准的数据收集体系计划，努力全面、高功用、标准地完结海量数据的收集，并将其传输到大数据渠道。
阿里巴巴的日志收集体系计划包括两大体系: Aplus.JS 是Web端日志收集技能计划; UserTrack 是APP端日志收集技能计划。在收集技能根底之上，阿里巴巴用面向各个场景的埋点标准，来满意通用阅览、点击、特别交互、APP事情、H5及APP里的HS和Native日志数据打通等多种事务场景。一起，还建立了一套高功用、高可靠性的数据传输体系，完结数据从出产事务端到大数据体系的传输。在传输方面，选用TimeTunnel (TT)， 它既包括数据库的增量数据传输，也包括日志数据的传输: TT作为数据传输效劳的根底架构，既支撑实时流式核算，也支撑各种时刻窗口的批量核算。别的，也经过数据同步东西(DataX和同步中心，其间同步中心是根据DataX易用性封装的)直连异构数据库(备库)来抽取各种时刻窗口的数据。
2.数据核算层
数据只要被整合和核算，才干被用于洞悉商业规则，发掘潜在信息，然后完结大数据价值，到达赋能于商业和发明价值的意图。从收集体系中收集到的很多原始数据，将进人数据核算层中被进一步整合与核算。
面临海量的数据和杂乱的核算，阿里巴巴的数据核算层包括两大体系:数据存储及核算云渠道(离线核算渠道MaxCompute和实时核算渠道StreamCompute)和数据整合及办理体系(内部称之为"OneData").其间，MaxCompute 是阿里巴巴自主研制的离线大数据渠道，其丰厚的功用和强壮的存储及核算才能使得阿里巴巴的大数据有了强壮的存储和核算引擎: StreamCompute 是阿里巴巴自主研制的流式大数据渠道，OneData是数据整合及办理的办法体系及东西。阿里巴巴的大数据工程师在这一体系下，构建一致、标准、可同享的全域数据体系，防止数据的冗余和重复建造，躲避数据烟囱和不一致性，充分发挥阿里巴巴在大数据海量、多样性方面的共同优势。凭借这一一致化数据整合及办理的办法体系，咱们构建了阿里巴巴的数据公共层，并能够协助类似大数据项目快速落地完结。
从数据核算频率视点来看，阿里数据仓库能够分为离线数据仓库和实时数据仓库。离线数据仓库首要是指传统的数据仓库概念，数据核算频率首要以天(包括小时、周和月)为单位:如T-1,则每天清晨处理上一天的数据。可是跟着事务的开展特别是交易进程的缩短，用户对数据产出的实时性要求逐步进步，所以阿里的实时数据仓库应运而生。“双11”实时数据直播大屏，就是实时数据仓库的种典型运用。 I
阿里数据仓库的数据加工链路也是遵从业界的分层理念，包括操作数据层(Operational Data Store, ODS)、 明细数据层(Data WarehouseDetail, DWD)、汇总数据层(Data Warehouse Summary, DWS)和运用数据层(Application Data Store, ADS)。经过数据仓库不同层次之间的加工进程完结从数据财物向信息财物的转化，而且对整个进程进行有用的元数据办理及数据质量处理。
在阿里大数据体系中，元数据模型整合及运用是一个重要的组成部分，首要包括数据源元数据、数据仓库元数据、数据链路元数据、东西类元数据、数据质量类元数据等。元数据运用首要面向数据发现、数据办理等，如用于存储、核算和本钱办理等.
3. 数据效劳层
当数据已被整合和核算好之后，需求供给给产品和运用进行数据消费。为了有更好的功用和体会，阿里巴巴构建了自己的数据效劳层，经过接口效劳化办法对外供给数据效劳。针对不同的需求，数据效劳层的数据源架构在多种数据库之上，如MySQL和HBase等。后续将逐步迁移至阿里云2数据库ApsaraDB for RDS(简称”RDS )和表格仔储(Table Store)等。
敞开给集团内部各运用运用。现在，数据效劳每天具有几十亿的数据调用量，怎么在功用、安稳性、扩展性等方面更好地效劳于用户，怎么满意运用各种杂乱的数据效劳需求，怎么确保“双11” 媒体大屏数据效劳接口的高可用....跟着事务的开展，需求越来越杂乱，因而数据效劳也在不断地行进。
数据效劳能够使运用对底层数据存储透明将海量数据便利高效的敞开给集团内部各运用运用。现在，数据效劳每天具有几十亿的数据调用量，怎么在功用、安稳性、扩展性等方面更好地效劳于用户，怎么满意运用各种杂乱的数据效劳需求，怎么确保“双11” 媒体大屏数据效劳接口的高可用....跟着事务的开展，需求越来越杂乱，因而数据效劳也在不断地行进。
数据效劳层对外供给数据效劳首要是经过一致的数据效劳渠道 (为便利阅览，简称为“OneService")。OneService 以数据仓库整合核算好的数据作为数据源，对外经过接口的办法供给数据效劳，首要供给简略数据查询效劳、杂乱数据查询效劳(接受集团用户辨认、用户画像等杂乱数据查询效劳)和实时数据推送效劳三大特征数据效劳。
4.数据运用层
数据现已准备好，需求经过适宜的运用供给给用户，让数据最大化地发挥价值。阿里对数据的运用表现在各个方面，如查找、引荐、广告、金融、信誉、稳妥、文娱、物流等。商家，阿里内部的查找、引荐、广告、金融等渠道，阿里内部的运营和办理人员等，都是数据运用方:ISV、研究机构和社会安排等也能够运用阿里敞开的数据才能和技能。
咱们信任，数据作为新动力，为工业注人的革新是清楚明了的。咱们对数据新动力的探究也不仅仅停留在狭义的技能、效劳和运用上。咱们正在发掘大数据更深层次的价值，为社会经济和民生根底建造等供给立异办法。
