摘要：云计算在整合高校教育资源方面的关键是海量的数据存储，把云存储的技术和方法运用到高校教育资源整合的建设中，节约高校教育资源，有效地提高校教育资源的利用率，从而提高高校的教学水平。本文阐述了云计算和云存储的概念和特点，介绍了高校教育资源中存在的问题和优势，简单的介绍了主流的云计算平台，重点介绍了Hadoop的HDFS存储系统的特点和结构，结合基于云体系结构，设计出高校教育云体系结构，实现基于Hadoop平台的高校教育资源网架构，使用Hadoop平台进行数据的存储和传输。实验结果表明，利用Hadoop云计算平台，为大规模高效数据处理提供良好的解决方法，有效提高海量数据的处理速度。
关键词：云计算；Hadoop；云存储；HDFS；教育资源
中图分类号：G64文献标识码：A文章编号：
0．引言
整合教育资源，有效合理的使用教育资源，有利于高等教育的发展。云计算时代的来临，对于建立一个统一、开放和灵活的教育资源平台，实现资源共享，缩小教育信息化差距具有深远的影响。把云存储技术和方法，运用到高校教育资源的整合建设中，有效地节约高校教育资源，提高高校资源的利用率。
1．云计算和云存储的概述
1.1云计算的概念和特点
云计算作为一种新型的服务交付和使用模式，是基于互联网的计算方式，通过这种方式可以按需的，能够向用户提供所需的软硬件平台和网络资源[1]。（1）可扩展性：为满足用户的增长和需要，云计算的规模可以动态扩展和伸缩。（2）虚拟化：用户通过终端设备登录到Internet中的云服务平台，即可得到所需要的服务，不需要知道资源的具体所在位置。云计算将虚拟化的异构分布式的数字和物理资源，通过虚拟化技术统一存储在数字中心。（3）稳定性：用户可将自己的数字资源放心存储在云服务平台，云计算通过虚拟化技术将数据资源存储在虚拟资源池中，有效地保证数据的安全性。（4）通用性：云计算的支持下可以支撑不同应用的运行，构造出各种功能的应用。（5）运行成本低：用其廉价的节点构成云体系，通过云计算的特殊容错措施。云计算的通用性和公用性有效地提升物理资源的利用率，由于云计算的自动化管理，也使其管理中心数据的成本大幅度的降低。
1.2云存储的概念和特点
云存储把存储设备看作一个资源池，通过虚拟化技术，根据需要分配这些资源。云存储将庞大的数据自动拆分成若干个小数据块，并进行分布式存储，最后，交由存储资源组成的计算机集群系统[2]。云存储是将网络不同类型的存储设备，通过应用软件集合来协同工作，通过分布式文件系统、网格技术或集群应用等功能，来共同对外提供的业务访问和数据存储功能的系统[3]。（1）可靠性：云存储把数据备份到多个硬件存储设备中，保证数据的安全可靠性。（2）服务性：云当中的数据是进行分布式存储的，能够有效地进行分担存储和访问过程中的压力，提高系统性能。（3）存储效率：云存储为避免个别服务器由于工作量过大造成的瓶颈问题，能够将工作量很好均匀的分配在不同的存储服务器上，使存储系统发挥最大的效能。（4）硬件冗余：云存储将文件复制并保存到不同的服务器，来解决硬件损坏所带来的难题[4]。在硬件发生损坏时，云存储知道文件具体存放的位置，而保持服务的继续。（5）管理性：将高校教育资源统一存储在云中，方便教育资源的管理，节省了人力和物力[5]。
2高校教育资源存在的主要问题
（1）教育资源分布不均匀。对有充足资金提供支持的著名大学，就有更好的教育资源。地方院校由于设备老化，资金有限，资源不足等问题。（2）基础设施的闲置。由于多方面原因，对多数高校在基础设施购入后，设备在多数情况下一直处于闲置和浪费，不仅对设备本身也是一种浪费[7]。也提高设备的运行成本，极大的浪费电力资源、资金等。（3）软硬件投入的不均衡。是多数高校教育资源建设过程中，所普遍存在面临的共同问题[6]。（4）基础设施重复购置。因高校自身教育资源建设的需要等原因，重新建立或者更换陈旧的基础设施，都需要花费大量资金购入新设施。（5）教育资源共享程度低。各院校、职能部门之间的资源共享手段较单一，效率也比较低，跨部门、院系的教学和科研合作受制于教育资源管理水平。
3云计算在资源平台建设的优势
3.1云计算技术
云计算构建的目的在于同时为许多用户服务，云计算系统运用很多技术，以虚拟化、数据存储、云计算平台管理最为关键。云计算系统用冗余存储方式保证数据的可靠性，采用分布式存储方式有效存储数据[8-9]。（1）数据存储技术。为满足用户需要，云计算系统并行为用户提供服务。云计算的数据存储技术需具有较高的传输率、吞吐率和分布式的特点。（2）虚拟化技术。虚拟化技术能够实现底层硬件与软件应用之间的隔离，包括聚合模式，是把多个资源整合成一个虚拟资源；裂分模式，是将单个资源划分成多个虚拟资源[10]。（2）云计算平台管理技术。云计算系统平台管理能使多个服务器协同工作，快速发现系统故障和恢复系统，方便进行工作部署和开通，系统通过智能化、自动化的方法达到可靠运营。
3.2可行性分析
基于云计算的开放性教育资源平台的建设，率先迈出了重要的一步，云计算为高校教育资源的建设提供了重要机遇。其可行性分析如下：（1）扩大教育资源的共享度，避免资源重复建设，有效地提高基础设施利用率。由于云计算对终端设备支持跨平台，可以随时随地使用网络共享资源[11]。（2）提高教育资源管理。通过分布式和并行计算，云计算对高校教育资源进行分析管理、存储和计算，高可靠性能够保证开放教育资源平台高效运行。
4云计算平台
目前云计算平台：微软Azure平台、Hadoop（Apache基金会）、阿里巴巴的阿里云、AbiCloud（Abiquo公司）、谷歌GoogleAppEngine、Amazon的EC2和中国移动的BigCloud等[12]。本文采用Hadoop平台，实现分布式文件系统，简称HDFS。HDFS具有高容错性，使其可在廉价的硬件设备上部署，不仅提供了适合那些有大数据集的应用平台，而且还提供了高吞吐率的数据读写。1.HDFS文件系统特点：（1）HDFS源代码是全球开发者共同研究探讨，是开放的，不收取任何费用。（2）支持超大规模数据集。HDFS经过yahoo公司的验证，能够支持大规模数据集合[13]。HDFS上的文件由几GB到几TB，甚至到PB级别大小不等。（3）HDFS认为硬件错误不是异常，是常态。对每个部分都有出现错误的可能性，HDFS的一个重要特点是它的故障检测和快速自动恢复[14]。（4）具有很强的扩展性。HDFS中的节点增加、退出时，都不会影响用户的正常使用。（5）HDFS容错能力很强。HDFS以块序列形式存储每一个文件，HDFS存储众多的文件，设计在集群中的大量机器之间。（6）HDFS平台移植性。HDFS运行在Windows和Linux等操作平台，是由Java语言实现的，具有很好的可移植性[15]。（7）提高数据访问性能。HDFS设计不是用户交互处理，从而提高吞吐量，节约收发数据的时间，数据就不会在网络上造成堵塞。（8）HDFS简化文件访问模型。文件一旦被创建，就不能再进行修改，以提高吞吐量，增加文件的一致性[16]。2.HDFS系统架构HDFS集群是一种典型的主从式架构，是由多个DataNode的数据节点和一个NameNode的控制节点组成。HDFS群中还有一个SecondaryNameNode，它配合NameNode进行检查点（checkpoint）操作，不与DataNode或Client交互。NameNode将文件系统的元数据存储在内存之中，维护整个文件系统的命名空间，以控制和管理文件的相关操作，如下图1。HDFS的系统架构，单一控制节点NameNode提供一个统一文件命名空间，负责对文件系统树、目录和文件等元数据信息进行维护和管理；众多数量的数据节点DataNode具有计算能力管理自身携带的存储资源，具有存储能力。在HDFS中，一个文件将被分成若干个数据块，数据块能够通过DataNode相互之间进行复制，这些数据块被分散在不同的DataNode上存储。DataNode与NameNode定期保持联系，以便NameNode掌握自身的工作状态[18]。由NameNode向DataNode发送控制指令，比如，对文件数据块的创建、复制和删除等操作。
5云存储在整合高校资源的体系结构
5.1云存储体系结构
云存储的体系结构由应用层，平台层，资源层三层组成。如图2所示。（1）应用层，主要为用户提供相关软件服务。（2）资源层，主要是指基础架构的云计算服务，用户可以基于这些服务来搭建自己的应用，它把基础架构的各种功能都提供给用户。这种服务隐藏物理资源的复杂性，可提供虚拟化的资源。（3）平台层，中间件服务为用户提供可扩展的事务处理中间件等服务。数据库服务为用户提供可扩展的数据库处理能力。
5.2高校教育资源云结构
首先建立云计算数据中心，来进行整合高校教育资源，通过虚拟化技术来提高虚拟化资源池和硬件设备的利用率。文中采用Hadoop平台实现数据传输[19]。具体如图3所示。
5.3基于Hadoop平台的高校教育资源网架构
用户想从高校教育资源网上得到自己要的资源，首先要向云计算服务的提供商发送请求，从云存储里通过NameNode找到相应的Block的ID，并根据Block的ID获得自己所要的数据资源。具体如图4所示。根据图4中看到，高等学校相当于DataNode，由所在高等学校管理员向云存储服务系统发送数据，为节省高校服务器的存储空间，由管理员决定是否删除已发送的数据。NameNode把数据发送给云服务提供商的DataNode，同时由NameNode进行记录，来保存到映像文件里，由SecondaryNameNode来对NameNode中的元数据进行相应备份，并把数据备份文件更新在NameNode中，保存最新的映射文件和事务日志。当用户需要所要数据时，要向云服务提供商发送数据请求，NameNode根据映射文件找到Block编号，发送给Client，以上代码，进行了描写一个DataNode来向NameNode进行发送数据和接受数据的过程，与高校向云服务提供商发送数据的基本原理相同。
6结语
云存储作为一个新兴的概念，运用云存储的技术和方法整合高校资源，能够有效地提高高校资源的利用率，节约高校教育资源。构建高校教育资源共享云平台，结合云计算技术，对其体系架构和实现进行深入剖析，在Hadoop平台下，实现数据的传输与存储。该平台的实现借助于现有较成熟的云平台应用实例，需要多租户、分布式计算和虚拟化等多种技术之间的协同，构建高校教育资源共享云服务平台，此设计方案能够为高校资源的共建和共享提供一个新的思路。
作者：王凤领 单位：黑龙江财经学院
相关专题：新疆医科大学 家庭如何应对金融危机
