Course Description

The course will   cover major technology of BigData Analysis and Development, such as Linux   environment, Hadoop, Distributed File System HDFS, Distributed Database   HBase, MapReduce, YARN, Spark, Flow Calculation, Data visualization, etc.

Objectives

After completing   this course, students will be able to:

· Understand fundamental conception of Big Data Analysis   and Development

· Setup Linux and Hadoop environment

· Write Java API program of HDFS

· Write MapReduce and HBase program

· Write Flow calculation program

· Use Data visualization tools

Required Book

大数据技术 原理与应用 厦门大学林子雨编著

Reference Books （Option）

大数据导论(英文版) [美] 托马斯埃尔瓦吉德哈塔克保罗布勒著作 著

Software for Lab

Main software   includes Linux Ubuntu, Hadoop, HBase, Spark, Virtual Box, etc. Detail information will be listed in each Lab

6月11日8:30-12:00

第1课Linux系统概述

系统安装及相关配置，Linux虚拟机，Linux 系统Ubuntu，SSH，vi文本编辑器，Linux终端常用命令

安装Linux虚拟机，Linux 系统Ubuntu，SSH等. 练习使用vi文本编辑器，Linux终端常用命令

4

信息楼201

6月12日8:30-12:00

第2课大数据及Hadoop 概述

2.1 大数据概念

2.2 大数据的应用

2.3 大数据关键技术

2.4 Hadoop简介

2.5 Hadoop的安装

安装OpenJDK， Hadoop。练习使用SSH，Hadoop基本命令

4

6月13日8:30-12:00

第3课 Distributed   File System HDFS

3.1 HDFS文件系统的架构、功能

3.2 HDFS Shell使用

3.3 HDFS的Web界面

3.4 Java 开发环境 Eclipse

3.5 HDFS常用Java API编程

安装Eclipse. HDFS编程实践

4

6月14日8:30-12:00

第4课 Distributed   Database HBase

4.1 HBase概述

4.2 HBase数据模型

4.3 HBase的实现

4.4 HBase编程

安装HBase. HBase编程实践

4

6月15日8:30-12:00

第5课 MapReduce

5.1 MapReduce模型

5.2 MapReduce结构

5.3 MapReduce工作流程

5.4 WordCount实例分析

5.5 MapReduce编程

MapReduce编程实践

4

6月19日8:30-12:00

第6课 Hadoop 2.0

6.1 Hadoop的改进与提升

6.2 YARN 的设计及架构

6.3 YARN工作流程

6.4 Pig及编程

Pig编程实践

4

6月20日8:30-12:00

第7课 Spark

7.1 Spark概述

7.2 Spark架构

7.3 Spark 核心RDD

7.4 Spark on YARN 运行模式

7.5 Spark编程

Spark编程实践

4

6月21日8:30-12:00

第8课 流计算

8.1流计算概述

8.2流计算的应用

8.3开源框架–Storm

8.4 Spark Streaming

8.5 Storm编程

Storm编程实践

4

6月21日14:30-18:00

第9课 数据可视化

9.1可视化概述

9.2可视化案例

9.3 D3可视化库及其使用

9.4 ECharts图表库及其使用

D3可视化库及其使用

ECharts图表库及其使用

4

6月22日8:30-12:00

第10课大数据应用

10.1互联网领域的应用

10.2推荐算法–协同过滤

10.3综合健康服务平台用

10.4物流领域中的应用

编写及提交课程报告

4

毕业于云顶yd222线路检测中心物探系电子技术专业。历任信息工程学院助教，讲师。1993年获日本九州工业大学博士学位。后历任北九州大学讲师，广岛市立大学情报科学部助理教授。加拿大DNA Media首席结构师。美国AUTODESK 高级软件工程师。从2005年起任云顶yd222线路检测中心兼职教授。培养及指导毕业多名研究生。

主要研究方向：

一. 国际化软件的理论及开发。 支持多语言，多文化的商业软件的UI设计，开发及测试。大型网站的国际化设计及UNICODE应用。面向多语言，多地区客户的服务与支持。民企国际化及国际市场开发的信息技术支持。

二. 自适应可扩张快速响应云端服务平台的设计及开发。人工智能与云端服务平台的整合，布局，组网。大数据分析，数据挖掘及信息提取。

三. 激光扫描点云数据处理

激光扫描及3维建模技术是一项很前沿的3维建模技术。其原理是使用特殊的激光扫描器对建筑物甚至城市进行扫描来获得3维点云数据。点云数据是海量的且是有特定结构的。对点云数据进行索引等处理之后再利用形状识别或模拟来建立3维模型。这样的3维模型精度可以很高且具有GIS特征。

本研究在AUTOCAD上实现了激光数据的3维建模。在GIS/CAD软件中开发了点云数据的处理功能，对大型目标甚至城市的3维建模产生深刻影响。

四. 计算机图形学

1 使用有理BEZIER 曲线生成高精度轮廓汉字: 汉字笔划有许多直角及任意角. 本研究使用有理3次BEZIER 曲线生成高精度直角及任意角并保持切线连接, 从而生成高精度轮廓汉字.

2 自由曲线曲面的分割, 形状控制及不规则细分

1) 有理BEZIER 曲线曲面的分割, 形状控制及高阶化

2) 自由曲面的4边形不规则细分理论及计算机表现法