一、课程简介

（一）课程中文简介

《大数据与云计算实践》是智能科学与技术专业的必修实践课程。本课程的目的是使学生在学习程序设计综合实践、大数据分析与处理、云计算等课程，以及学习了大数据基本原理及其相关编程技术之后，按大数据处理的基本过程进行一个适当规模的项目开发实战，在开发实践中巩固技术、增长能力、提升素质、丰富经验，达到培养解决工程实践问题能力的目标。

本课程要求学生以团队的形式完成一个大数据技术项目综合应用开发。综合应用大数据采集、存储、管理、分析等技术，选择并运用适合的大数据技术软件工具建立在相关应用领域的数据加工模型。本课程要求学生能够运用大数据处理平台对海量数据进行采集、存储及管理，综合应用大数据分析方法及其算法，能够对已采集数据在相关应用领域进行合理分析及处理。

（二）课程英文简介

‘Practice on Big Dataand Cloud Computing’ is a compulsory practical course for Intelligence science and technology majors. Based on the basic principles of big data and programming techniques (e.g., ‘Comprehensive practice of programming’, ’ Big Data Analysis and Processing’, ‘CloudComputing’), the aim of this course is to develop the ability of students to build a project about big data processing with appropriate scale. This project help students to improve their ability and quality and enriches experience in the actual development to achieve the goal of training the ability to solve engineering practice problems.

This course requires students to complete a comprehensive application development of a big data technology project by team. The students will learn comprehensive application technologies of big data acquisition, storage, management. After understanding these technologies, they learn how to select and use appropriate big data technology software tools to build data processing models in related application areas. This course requires students to use the big data processing platform to collect, store and manage huge amount of data, comprehensively apply big data analysis methods and algorithms. Finally they are able to reasonably analyze and process the collected data in related application fields.

二、实训课程目标

CO1：掌握数据采集及大数据存储技术与原理，能够运用大数据处理平台对海量数据进行采集、管理及存储；掌握分布式文件系统原理、分布式系统平台的搭建。

CO2：掌握大数据技术项目开发流程及综合应用开发的基本方法，能够在团队中合作完成各阶段任务，提高学生对大数据开发的实践能力。

CO3:综合应用大数据采集、存储、管理、分析等技术，能够选择并运用适合的大数据技术软件工具建立在相关应用领域的数据加工模型，并利用模型与相关人员进行有效沟通。

表1智能科学与技术专业课程目标与毕业要求指标点

三、实训内容与要求

实训内容：

1、团队组建：指导教师公布实训要求及候选题目，组织学生分组，每个项目小组由3-4人组成，可根据大数据处理阶段进行小组成员分工。小组成员分别负责大数据采集、大数据存储与管理、大数据分析、大数据可视化等若干任务，确定每人具体职责。

2、项目选题：指导教师每年根据社会需求及往届学生实训反馈信息筛选出至少5个候选题目，给出每题题目的基本要求，要求每个项目小组通过搜集查看与选题相关的背景资料，在组长的带领下讨论选题中要求掌握的平台技术及所需的数据分析算法。学生自选题目必须先通过指导教师审核确认。

3、平台选择与系统搭建：每个项目小组根据选题，选择适合的大数据处理平台并进行系统搭建，为后续大数据存储和管理做好底层系统部署。例如：项目小组可选择分布式文件存储系统HDFS，对Hadoop平台进行搭建，以便在团队中完成后续的任务。

4、大数据的存储管理：项目小组运用任意一种NoSQL数据库进行数据存储管理，应用Java等编程语言实现对NoSQL数据库的访问，实现对NoSQL数据库中的数据进行增删改查等操作。例如，项目小组可选择分布式数据库HBase、Mongodb、Redis等非关系数据库进行安装和部署，并对数据库文件进行操作，实现对数据的存储管理。

5、大数据分析处理框架的编程实现：以数据处理分析算法实践为目标，各小组根据采集的相关领域的数据及大数据存储平台，选择大数据处理框架MapReduce或Spark,对MapReduce或Spark编程模型的函数进行编写实现。最后，能够对分析得到的结果针对相关领域作出相应决策。

6、大数据推荐算法的应用及实现：各小组能够结合某领域的数据，利用相关大数据推荐算法，建立推荐模型，查看推荐结果并实现数据在此领域的推荐应用。

实训要求：

实训要求学生必须采用“项目小组”的形式，具体要求如下:

1.每个小组搭建Linux分布式平台时，能够利用小组名字进行区别命名(比如bigdata101)，并且在平台上部署各个技术框架(HDFS,HBase,NoSQL,MapReduce等)。

2.每个小组选题后进行行业知识或领域知识的业务理解，之后小组对每个步骤进行分工协作。针对采集数据的业务特征，各团队成员分工协作，分别负责相关领域的数据爬取、选择适当的分布式存储技术进行存储、在大数据处理框架上运用数据分析算法进行编程等多项任务。团队最终的数据加工结果具有一定的结论，并能够对此领域具有一定的指导意义。

3.每个小组根据每个步骤，撰写实验报告文档，包含实验题目、小组分工、实验代码、实验过程、实验结果与结论以及实验心得等，其中，根据实验过程描述，实验代码要能够在计算机上顺利运行；

4. 所选题目的所有任务不要求全部实现，每个项目小组可以选择大数据采集、大数据存储平台搭建、大数据存储及管理、大数据分析、大数据可视化等至少2个任务，完成编码并进行测试。

四、实验设备与环境配置

1. 计算机：Intel Core4 i7CPU 3.4GHZ、内存8GB、硬盘2TB以上；

2. 实验平台及开发环境：虚拟机VMware workstation 15，Ubuntu Linux16.04，Hadoop2.10.0，JAVA JDK1.7，Hbase 1.1.5, Spark2.1.0；

3.虚拟仿真教学平台。

五、课程思政、创新创业元素

六、主要参考资料

[1]林子雨.大数据技术原理与应用[M].人民邮电出版社.第2版.2017.2．

[2]林子雨.大数据基础编程、实验和案例教程[M]. 清华大学出版社.2017.8．

七、考核方式、方法及实验成绩评定方法

本课程实践考核分别从工作态度、作品质量、实训报告质量、独立分析与解决问题能力、沟通与团队合作等方面进行评价，指导教师根据每位学生实训课程过程表现、实训作品及实训文档进行总评分，具体评分项由指导教师给出分数。

评分过程：

1、实训开始时，由指导教师公布课程评分标准，要求全体学生认真掌握领会。

2、教师检查各组作品，判断各组成员工作量、程序质量、数据分析结果可信度，并审核各组文档制品，根据表2中所列评分标准，分别进行打分，

3、所有实训环节结束后，汇总计算每个同学的工作态度、作品质量、实训报告质量、独立分析与解决问题能力、沟通与团队合作等方面总积分。最终成绩采用五级制评分。

（一） 评分标准

表2评分标准

（二）考核环节权重

表3 实训课程目标与项目环节对应关系

撰稿人：陈欣

审核人： 刘晓鹏

批准人：崔宾阁