2024年共同学习《信息系统监理师》第一章 第二次

6. 云计算

云计算狭义定义：基础设施的交付和使用模式，即通过网络以按需、易扩展的方式获得资源。

云计算广义定义：指服务的交付和使用模式，即通过网络以按需、易扩展的方式获得服务。

7. 云计算的特征

主要特征表现：

超大规模

高扩展性 不仅规模大，还可以动态伸缩，满足用户的规模增长需求

虚拟化

高可靠性

通用性

廉价性

灵活定制

8. 云计算的分类

按服务分类：基础设施云、平台云、应用云。

按部署范围分类：公有云、私有云、混合云。

9. 云计算服务类型

基础设施即服务（IaaS）

平台即服务（PaaS）

软件即服务（SaaS）

10. 大数据

定义：海量数据或巨量数据

11. 大数据特征

第二版内容 普遍接受的4V-规模性（volume），多样性（variety），价值密度高（value），速度（velocity）。没有5V- 真实性（Veracity）。

规模性 非结构化数据的超大规模，数据的单位从GB到TB（=1024GB）再到PB（=1024TB），甚至到EB（=1024PB）和ZB（=1024EB）。

价值密度高 单位数据价值密度降低，但数据整体价值在提高。

12. 大数据的分类

结构化数据、非结构化数据、半结构化数据

结构化数据 通常先有结构后有数据 ，如关系型数据库。

半结构化数据 又叫自描述结构数据 例如超文本标记语音（HTML）文档，JS（JSON）对象标记、可扩展标记语言（XML）、一些NoSQL数据库。

非结构化数据 一般进行整体二进制存储。所有格式的文档、文本、图片、报表、图像、视频音频。

13. 大数据系统与常用技术

Hadoop生态系统，Hadoop 2.0由三部分组成：分布式文件系统（HDFS）、编程模型（MapReduce）、资源管理（Yarn）。

HDFS 提供高吞吐量的数据访问，缺点不支持低延时数据访问、小文件存取、并发写入、文件随机修改。

HBase 非结构化数据存储的数据库。

MapReduce 一种编程模型 ，Map映射、 Reduce归约 。

Yarn 是Hadoop 2.0引入的新机制，资源管理交给Yarn来处理，实现存储、任务、资源的分离。

大数据的处理技术：数据采集、数据存储、数据计算、数据展现与交互。

数据采集 常见的开源日志采集系统有Flume、Scribe 、Kafka。

数据存储 常见的数据存储有分布式文件系统和分布式数据库。常见的分布式文件系统有GFS、HDFS、Lustre、Ceph、FastDFS、MOgileFS，常见的非关系型数据库有Redis、TokyoCabinet、MongoDB、CouchDB、Cassandra、Voldremort、HBase。

数据计算 常见的分布式计算框架有MapReduce 、Spark 、storm。

数据的展现与交互 常见的可视化工具有Excle、Googlecharts、D3.js、Echarts、Tableau。

选择题

随着社会信息化程度的迅速提高，人类进入大数据时代。数据量的单位也在不断扩展：1、K、M、G、T、P、E、Z等，后者是前者的1024倍。因此，1E=1（）G。

A 、K B、M C、G D、T

解析：C 1E=1024*1024*1024 G=1KP=1MT=1GG

关于大数据及应用的描述，不正确的是（）。

A、Flume属于Apache的顶级项目，它是一款高性能、高可用的分布式日志收集系统。

B、MapReduce模式的主要思想是自动将一个大的计算（如程序）拆解称Map（映射）和Reduce（化简）。

C、kafka架构分为两层，即生产者（producer）和消费者（ConSumer），它们之间的可以直接发送消息。

D、与Hadoop相比，Spark的中间数据存放在内存中，对于迭代运算而言，效率更高。

解析：C 整个架构包括三个角色 ，生产者是消息和数据生产者以及代理，代理（Broker）是缓存代理，是kafka的核心功能，消费者是消息和数据的消费者，kafka给生产者和消费者提供注册的接口，数据从生产者发送到缓存中，缓存承担一个中间缓存和分发的作用，负责分发注册到系统的消费者。

在大数据的相关技术中，（）是一个分布式的、面向列的开源数据库，是一个适合非结构化数据存储的数据库。

A、HBase B、MapReduce C、Chukva D、HDFS

解析：A Chukva是一个开源的用于监控大型分布式系统的数据收集系统。

（）不属于大数据的特征

A、访问时间短 B、处理速度快 C、价值密度低 D、数据类型繁多

解析：A 价值密度相对较低。