【摘要】：随着高校信息化的发展,传统的数据集成方案无法满足高校处理海量非结构化、半结构化数据与各类结构化数据集成和融合分析的需求。基于此,采用MPP和Hadoop混合构建高校数据平台,既能保证适应对结构化数据深度分析、复杂查询以及快速响应的需求,还能满足海量非结构化数据在存储、加载、转换等方面的性能要求。选取某高校的上网行为日志数据,进行数据的存储、预处理与分析查询,验证平台在海量数据处理上的性能优势,为高校数据平台的构建提供新的思路和方法。

【相似文献】

中国期刊全文数据库 前17条

1 王红迁;汪鹏;王飞;罗浩;;基于Hadoop架构的医疗大数据平台应用实践和思考[J];医学信息学杂志;2017年09期

2 吕登龙;朱诗兵;;大数据及其体系架构与关键技术综述[J];装备学院学报;2017年01期

3 刘斌;;Hadoop计算存储分离架构技术应用研究[J];信息通信;2020年05期

4 张金;彭超;胡先兵;;基于内存数据对象的混合架构CAPP系统[J];计算机系统应用;2014年02期

5 刘永生;周鹏东;;企业的无形资产——数据及企业级数据架构探讨[J];金融电子化;2008年05期

6 黄承宁;;大数据和云计算架构应用技术研究[J];福建电脑;2017年02期

7 王岩;;实验室信息管理系统的架构选择[J];化学工程与装备;2020年01期

8 于金良;朱志祥;李聪颖;;Hadoop MapReduce新旧架构的对比研究综述[J];计算机与数字工程;2017年01期

9 胡大川;徐彬凌;钱诚;;电子政务系统数据库的架构与设计[J];信息与电脑(理论版);2016年16期

10 李赛寒;;一种面向大数据的图书馆系统架构研究[J];软件产业与工程;2016年06期

11 王雷;王智广;;改进的三层架构的研究与应用[J];计算机工程与设计;2017年07期

12 崔涛;;创新优化基础架构 保障生产运行安全[J];金融电子化;2017年02期

13 朱焕亮;张佩民;;企业数据架构规划和治理浅析[J];中国信息化;2016年07期

14 张凌燕;;“互联网+智慧校园”的立体架构及应用浅析[J];报刊荟萃;2018年07期

15 李静;;利用虚拟化技术构建IT系统新一代基础架构[J];才智;2013年29期

16 杨汝洁;杨云江;;基于私有云服务的水资源管理系统的基础架构设计[J];贵州大学学报(自然科学版);2013年03期

17 叶惠;;Radware:丰富Alteon产品线深化按需购买理念[J];通讯世界;2010年04期