如何设计企业级大数据分析平台？

 

 

传统企业的OLAP几乎都是基于关系型数据库，在面临“大数据”分析瓶颈，甚至实时数据分析的挑战时，在架构上如何应对？本文试拟出几个大数据OLAP平台的设计要点，意在抛砖引玉。

 

突破设计原则

 

建设企业的大数据管理平台（BigDataManagementPlatform），第一个面临的挑战来自历史数据结构，以及企业现有的数据库设计人员的观念、原则。数据关系、ACID在关系数据库几十年的统治时期是久得人心，不少开发人员都有过为文档、图片设计数据表，或将文档、图片序列化为二进制文件存入关系数据库的经历。在BDMP之上，我们需要对多种不同的格式的数据进行混合存储，这就必须意识到曾经的原则已经不再适用——Onesizedosen’tfitall，新的原则——Onesizefitsabunch.

 

以下是我列出的一些NoSQL数据库在设计上的模式：

 

文档数据库：数据结构是类JSON，可以使用嵌入（Embed）或文档引用（Reference）的方式来为两个不同的文档对象建立关系；

 

列簇数据库：基于查询进行设计，有宽行（WildRows）和窄行（SkinnyRows）的设计决策；

 

索引数据库：基于搜索进行设计，在设计时需要考虑对对每个字段内容的处理（Analysis）。

 

搜索和查询的区别在于，对返回内容的排序，搜索引擎侧重于文本分析和关键字权重的处理上，而查询通常只是对数据进行单列或多列排序返回即可。

 

数据存储的二八原则

 

不少企业在解决海量数据存储的问题上，要么是把关系数据库全部往Hadoop上一导入，要么是把以前的非结构化数据如日志、点击流往NoSQL数据库中写入，但最后往往发现前者还是无法解决大数据分析的性能瓶颈，后者也无法回答数据如何发挥业务价值的问题。

 

在数据的价值和使用上，其实也存在着二八原则：

 

20%的数据发挥着80%的业务价值；

 

80%的数据请求只针对20%的数据。

 

目前来看，不管是数据存储处理、分析还是挖掘，最完整和成熟的生态圈还是基于关系型数据库，比如报表、联机分析等工具；另外就是数据分析人员更偏重于查询分析语言如SQL、R、Python数据分析包而不是编程语言。

 

企业大数据平台建设的二八原则是，将20%最有价值的数据——以结构化的形式存储在关系型数据库中供业务人员进行查询和分析；而将80%的数据——以非结构化、原始形式存储在相对廉价的Hadoop等平台上，供有一定数据挖掘技术的数据分析师或数据工程师进行下一步数据处理。经过加工的数据可以以数据集市或数据模型的形式存储在NoSQL数据库中，这也是后面要讲到的“离线”与“在线”数据。

 

理解企业的数据处理需求

 

数据库到数据仓库，是事务型数据到分析型数据的转变，分析型数据需要包括的是：分析的主题、数据的维度和层次，以及数据的历史变化等等。而对大数据平台来说，对分析的需求会更细，包括：

 

查询：快速响应组合条件查询、模糊查询、标签

 

搜索：包括对非结构化文档的搜索、返回结果的排序

 

统计：实时反映变化，如电商平台的在线销售订单与发货计算出的库存显示

 

挖掘：支持挖掘算法、机器学习的训练集

 

针对不同的数据处理需求，可能需要设计不同的数据存储，还需要考虑如何快速地将数据复制到对应的存储点并进行合适的结构转换，以供分析人员快速响应业务的需求。

 

离线数据与在线数据

 

根据不同的企业业务，对“离线”的定义其实不一样，在这里离线数据特指在业务场景中适用于“历史数据”的部分。常见的历史数据查询分析一般来自于特定时间段，设计上需要考虑的是将数据存入历史库中时，建立时间索引。另一种情况是某种业务问题的定位或分析，在数据量巨大的情况下，基于Hadoop或Spark等框架编写分析算法并直接在平台上运行，可以大大节约数据导出导入、格式转换与各种分析工具对接的时间。

 

在线数据处理按照存储和分析的先后顺序，可分为批处理（先存储后分析）和流处理（先分析后存储）两类。Cassandra数据库的设计采用上数据追加写入模式，可以支持实时批处理；流式计算平台则有ApacheStorm、YahooS4等开源框架，商业平台有AmazonKenisis（部署在云端）。企业的实时分析需求往往有特定的应用场景，需要对业务和现行系统有深入的理解才能设计出一个合理的架构。

 

via：SilentRiver作者：JustinaChen