《Spark离线与实时分析》期末考试

欢迎参加本次《Spark离线与实时分析》期末考试，考试时间为90分钟，满分100分。请认真作答，确保答案准确。
1. 基本信息：
班级：
学号：
姓名：
一、选择题（共15题，每题3分，共45分）。根据下列问题，在四个选项中，选出符合题目要求的一项。
2. 与Hadoop MapReduce相比，Spark运算速度快主要得益于下列哪项原因？
3. 在伯克利数据分析栈（BDAS）中，用于分布式机器学习任务的组件是？
4. 在Spark运行架构中，用于创建SparkContext对象的是？
5. 下列哪项RDD的机制使得Spark天生具有容错性？
6. 对RDD执行下列操作不会产生窄依赖的是？
7. 对RDD进行重分区并要求减少分区个数，可以使用下列哪种方法？
8. Spark RDD编程中的惰性机制是指何种操作不触发计算，只记录RDD的依赖关系？
9. 如果需要多次使用同一个RDD，可以执行下列哪段代码对RDD进行持久化？
10. 下列选项中，不能直接作为Spark SQL创建DataFrame的数据源的是？
11. Spark SQL的DataFrame数据查询操作中，用于条件查询，即给定条件筛选行的是？
12. 编写Spark Streaming应用程序时，需要调用何种方法启动StreamingContext对象？
13. 在Spark Streaming中，DStream的哪个操作可以按照窗口计算数据流中元素的数量？
14. 在Spark MLlib中，词向量（Word2Vec）属于下列哪类特征处理工具？
15. 下列哪种算法属于Spark MLlib提供的聚类算法？
16. 下列哪项不是Spark Streaming支持的数据源？
二、判断题（共10题，每题3分，共30分）。下列表述，正确的标“√”，错误的标“×”。
17. 编写Spark应用程序时，相较于Scala或Java代码需要编译并打包，Python代码文件可以直接使用spark-submit命令提交执行。
18. Spark中的RDD具有可变性，在创建一个RDD后，也可以对其进行修改。
19. 作为分布式数据集，RDD提供了简便的数据操作方法，这使得我们进行RDD编程时无需关心复杂的底层分布式计算。
20. Spark SQL中的优化器Catalyst可以在查询执行前对SQL语句进行解析、分析、优化和转换等操作，从而提高查询性能。
21. 使用Spark SQL时，常将DataFrame的groupBy()方法与count()和sum()等方法连用，实现数据的分组计数、分组求和等查询。
22. 流数据的特点之一是有序性，在输入流计算框架时，其数据元素总是按照产生的顺序抵达。
23. Spark Streaming中，DStream基于滑动窗口的转换操作必须设置windowDuration和slideDuration参数，当批处理时间间隔为1s时，二者可以分别为5s、2.5s。
24. 无监督学习是一种基于无标签的数据集，发现数据间潜在关系的机器学习方法。
25. RDD间的依赖关系形成有向无环图（DAG），在程序运行时交由Spark Context对象中的DAG调度器（DAGScheduler）去划分阶段（Stage）。
26. Spark Streaming的核心数据抽象基于RDD实现，可以用RDD队列流作为数据源。
三、简答题（共2题，第26题10分，第27题10分，第28题5分，共25分）。
27. Spark引擎具有运行模式多样的特点，能够根据实际需要与不同形式的计算资源集成。请简述Spark的几种主要部署模式。
28. 简述Spark SQL的特点。
29. Spark Streaming实时计算框架的核心数据抽象是DStream，其内部是一系列连续的RDD。DStream的转换操作通常分为无状态转换操作和有状态转换操作，请简述二者的区别，并分别各举几例。
更多问卷 复制此问卷