校企实践大学大数据实验室建设方案

　　近日，新一届人大审议了《国务院机构改革方案》，其中提到组建国家数据局，这意味着国家的数字化战略转型，这对数据资源的开发挖掘、利用共享，以及数据政策制定、数据交易交换等都非常有意义。高校建设新时代国家发展的重要基础，发挥高校在国家科技自立自强体系中的中坚作用，是对国家科技强国方针的坚决维护和响应。碧英数据联合高校，积极寻求校企合作的创新突破，以科学理论为基础，学以致用，建设大学大数据实验室，打造管理、教研、实践应用一体化的平台，为高校、教师、学生提供多方位的教学服务。
　　平台建设背景
　　高校建设的现实需求
　　平台建设方案
　　大数据实验室计划建设稳定、可靠、高效的软硬一体化大数据教学科研环境，以及完善的课程体系、项目数据和视频、多样化的教学手段和丰富的实战案例，来满足学生学习和老师科研需求。
　　1、大数据教学平台
　　大数据课程平台根据不同学历和职业方向设置不同的课程学习路线，针对每门课程提供教学实验指导手册、在线视频、资源包、实验示例代码等，让学生通过在线学习、原理验证、实训应用、自主设计等多层次的实验操作，实现对大数据开发应用的理解和掌握。
　　平台整体以大数据Hadoop及其生态组件为核心构建软件系统，支持更多的大数据高级特性，保证平台的高性能与稳定可靠运行。
　　2、大数据科研平台
　　结合大数据教学平台的教学内容，通过科研平台进行上手实践操作。科研平台融合大数据相关的开源开发工具，构建包括搜索引擎、自然语言处理、数据可视化等开发工具等开发框架平台，充分进行处理采集、治理、挖掘等项目的研究和探索，全面提升科研成效。
　　平台建设内容
　　大数据教学平台：
　　入门：大数据概论、Hadoop集群安装部署、HDFS分布式文件系统、MapReduce计算框架等课程开始学习；
　　初级：Flink实时流计算框架、Zoopkeeper分布式协调系统、Kafka分布式发布订阅消息系统、HBase分布式数据库等课程的学习；
　　进阶：离线计算：ETL工具、数据参数Hive的学习；
　　高阶：Spark、SparkSQL、SparkStreaming等课程的学习
　　大数据科研平台：数据源与SQL引擎、数据采集模块、数据处理模块、机器学习算法、搜索引擎模块等，支持包括支持Python、JAVA等主流编程语言
　　自然语言处理模块：包括词法分析、句法分析、文本分析和情感分析等功能、可进行信息抽取、文本分类和文本聚类等方面的研究。
　　大数据监控平台：支持Hadoop集群的供应、管理和监控，支持HDFS、Hive、HBase、Zookeper、ES，Kafka，Clickhouse等的集中管理。
　　建设成效