大数据由于其自身的特性，很难直接使用传统关系数据库系统进行存储和管理，各个数据库厂商需要在原有基础上寻求突破，开发新的技术。为支撑不同业务场景下大数据的管理和应用，各行业进行了不同的尝试。传统的行业开始尝试在外围系统上使用新型的大数据技术取代原有的关键数据库技术，在保持性能稳定性的同时进一步对传统的核心业务进行换代升级。各个数据厂商开发的新型大数据平台也不仅仅只是将海量的非结构化数据进行简单的存储，还需要对平台内的数据进行统一管理，制定规范化的格式和标准，以便业务人员进行分析处理。大数据管理平台制约因素传统的单节点集中式环境已经难以满足数据的存储和计算开销，通过增加或更换CPU、内存、硬盘以纵向扩展系统的方式已经遇到了瓶颈。分布式系统有着丰富的存储空间资源和较强的并行计算能力，能够利用廉价的服务器提供高可扩展、高稳定性的存储服务，可以通过横向扩展即增加计算节点的方式提高系统能力。因此分布式系统平台成为了存储和管理大数据的主要工具。但在使用分布式系统平台管理大数据时，也面临着许多瓶颈。首先，分布式数据平台功能上存在一定的局限性，在关键业务中一时间难以全面替换原有的数据库管理系统。其次，分布式数据平台虽然能够存储海量的数据，但在部分核心操作的性能上难以满足需求。造成这些困难的深层技术原因有如下几个方面：缺少统一数据模型数据模型是数据管理的理论基础，由数据结构、数据操作和数据约束三要素组成。关系型数据库之所以取得如此巨大的成功，得益于E.F.Codd提出的关系数据模型。关系型数据模型将数据保存到关系表中，能够支持高效的查询操作。但由于关系模型对数据模式要求严格，难以满足非结构化数据管理的灵活性需求，很难有效地支持大数据平台的需求。
因此，需要从海量的数据规模，高度动态的数据特性，多样的应用场景，统一的联合访问等需求方面深入考虑，设计高效而通用的数据模型。事务处理无保障传统关系数据库中的事务处理在大数据管理平台中依然有着广泛的应用需求。然而传统事务的实现代价过高，事务特性过于严格，会大大降低分布式存储的读写性能，难以满足海量数据快速读写的特点，传统事务的ACID与分布式数据库的BASE之间性能和一致性的平衡较难保持。因此，新兴的大数据管理平台需要能够兼顾数据存储和处理性能的事务处理机制，并在高并发的分布式场景支持不同粒度平台事务处理功能。优化机制发展不完善仅依靠存储数据难以为产业创造价值，只有对大数据进行分析、使用、挖掘内部的数据模式，才能创造出新的价值，这就需要在数据分析处理中使用连接、聚集等操作对数据进行处理，便于研究人员分析。然而，当前分布式平台的主要优点在于其容错性和可扩展性，索引、缓存等性能优化机制的发展并不完善，系统中分布式并行处理机制和网络中通信传输代价是难以回避的问题。
同时，由于MapReduce等数据处理流程的限制，部分效率更高的算法难以在分布式平台上实现，因此整体上查询执行性能方面难以匹配传统关系型数据库。其次，由于需要大量属性描述数据对象的信息，缺失值占据了大多数的域，不但浪费了存储空间，也给数据操作的语义带来了复杂性。机遇与挑战并存为了克服大数据平台中存在的技术难题，未来大数据管理平台的发展应该包括以下几个方面：数据库厂商转型“互联网+”的发展凸显了大数据的重要性，传统的数据库厂商看到了大数据所蕴含的价值，力图依托自身的深厚积累，设计与研发新型大数据管理平台。甲骨文公司在大数据收集环节提供了甲骨文数据库和甲骨文NoSQL数据库；在大数据分析环节提供了甲骨文Exadata数据库云服务器、甲骨文Exalytics商务智能云服务器、甲骨文数据仓库和甲骨文高级分析等方案。同时甲骨文大数据机将甲骨文-Sun分布式计算平台与Hadoop、Cloudera管理器控制台、R分析软件及甲骨文NoSQL数据库结合，能够有效处理非结构化海量数据。
IBM于2014年发布了第一个面向大数据设计的处理器POWER8，为新一代大数据分析平台构建提供支持。同时IBM也将Hadoop作为一个很好的补充部分，将IBM的数据分析产品如SPSS高级分析，BI工具等与BigInsightsHadoop解决方案集成到一起提升产品性能。EMC公司发布了Hadoop发行版PivotalHD，其不仅仅能在Hadoop中运行SQL，还可以与EMCGreenplum大数据分析平台进行整合，承担大数据分析处理工作负载，提升系统的性能。微软公司发布了新一代并行数据仓库一体机SQLSERVERParallelDataWarehouse，提供了大数据并行处理能力，并具备灵活线性横向扩展能力。同时微软公司提供数据分析工具LINQPack、Project“Daytona”及ExcelDataScope等用在WindowsAzure上做大数据分析，支持各项业务的进行。持续贡献开源系统虽然目前大数据混搭平台的研究和发展还处于起步阶段，但随着各项开源数据库和计算平台不断涌现和发展，加上云环境的易用性和低成本性，使得构建大数据管理平台的门槛大为降低。
作者：王腾蛟 李湛
