MOOC 大数据Note

• Spark
• • Spark 一个软件栈满足不同交互场景
  • Lineage 血缘关系
  • 创建 转换 动作
  • ShuffleMapStage
  • Spark的部署和应用方式
  • RDD操作分为转换（Transformation）和动作（Action）两种类型，下列属于动作（Action）类型的操作的是:count
  • Spark支持三种类型的部署方式：Standalone，Spark on Mesos，Spark on YARN
  • RDD采用惰性调用，遇到“转换(Transformation)”类型的操作时，只会记录RDD生成的轨迹，只有遇到“动作(Action)”类型的操作时才会触发真正的计算
  • 在选择Spark Streaming和Storm时，对实时性要求高（比如要求毫秒级响应）的企业更倾向于选择流计算框架Storm
  • 基于实时数据流的数据处理：Storm
  • 复杂的批量数据处理：MapReduce
  • 基于历史数据的交互式查询：Impala
  • Apache软件基金会最重要的三大分布式计算系统开源项目包括：Storm、Spark、Hadoop
  • Spark的主要特点包括:运行模式多样、通用性好、容易使用、运行速度快
  • Scala是Spark的主要编程语言，但Spark还支持Java、Python、R作为编程语言
  • Scala具备强大的并发性，支持函数式编程
  • Scala是一种多范式编程语言
  • Scala运行于Java平台，兼容现有的Java程序
  • Spark的运行架构包括:每个应用的任务控制节点 Driver、集群资源管理器 Cluster Manager、运行作业任务的工作节点 Worker Node、每个工作节点上负责具体任务的执行进程 Executor
  • 常见的动作（Action）和转换（Transformation）操作的API count()：返回数据集中的元素个数，map(func)：将每个元素传递到函数func中，并将结果返回为一个新的数据集，filter(func)：筛选出满足函数func的元素，并返回一个新的数据集
  • HBase是一种列式数据库
  • HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳
  • 每个HBase表都由若干行组成，每个行由行键（row key）来标识
  • HBase列族支持动态扩展，可以很轻松地添加一个列族或列
  • Zookeeper是一个集群管理工具，常用于分布式计算，提供配置维护、域名服务、分布式同步等
  • HBase三层结构的顺序是:Zookeeper文件，-ROOT-表，.MEATA.表
  • 客户端是通过三级寻址来定位Region
  • 访问HBase表中的行，有哪些方式:通过一个行健的区间来访问，通过单个行键来访问、全表扫描
  • HBase和传统关系型数据库的区别在于哪些方面:数据操作、数据模型、存储模式、数据索引
  • 下列对HBase的理解正确的是：HBase多用于存储非结构化和半结构化的松散数据，HBase是针对谷歌BigTable的开源实现

成都创新互联-专业网站定制、快速模板网站建设、高性价比广州网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式广州网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖广州地区。费用合理售后完善，10多年实体公司更值得信赖。Spark Spark 一个软件栈满足不同交互场景

Lineage 血缘关系 创建 转换 动作 ShuffleMapStage

Spark的部署和应用方式

RDD操作分为转换（Transformation）和动作（Action）两种类型，下列属于动作（Action）类型的操作的是:count Spark支持三种类型的部署方式：Standalone，Spark on Mesos，Spark on YARN RDD采用惰性调用，遇到“转换(Transformation)”类型的操作时，只会记录RDD生成的轨迹，只有遇到“动作(Action)”类型的操作时才会触发真正的计算 在选择Spark Streaming和Storm时，对实时性要求高（比如要求毫秒级响应）的企业更倾向于选择流计算框架Storm 基于实时数据流的数据处理：Storm 复杂的批量数据处理：MapReduce 基于历史数据的交互式查询：Impala Apache软件基金会最重要的三大分布式计算系统开源项目包括：Storm、Spark、Hadoop Spark的主要特点包括:运行模式多样、通用性好、容易使用、运行速度快 Scala是Spark的主要编程语言，但Spark还支持Java、Python、R作为编程语言 Scala具备强大的并发性，支持函数式编程 Scala是一种多范式编程语言 Scala运行于Java平台，兼容现有的Java程序 Spark的运行架构包括:每个应用的任务控制节点 Driver、集群资源管理器 Cluster Manager、运行作业任务的工作节点 Worker Node、每个工作节点上负责具体任务的执行进程 Executor 常见的动作（Action）和转换（Transformation）操作的API count()：返回数据集中的元素个数，map(func)：将每个元素传递到函数func中，并将结果返回为一个新的数据集，filter(func)：筛选出满足函数func的元素，并返回一个新的数据集 HBase是一种列式数据库 HBase是一个稀疏、多维度、排序的映射表，这张表的索引是行键、列族、列限定符和时间戳 每个HBase表都由若干行组成，每个行由行键（row key）来标识 HBase列族支持动态扩展，可以很轻松地添加一个列族或列 Zookeeper是一个集群管理工具，常用于分布式计算，提供配置维护、域名服务、分布式同步等 HBase三层结构的顺序是:Zookeeper文件，-ROOT-表，.MEATA.表 客户端是通过三级寻址来定位Region 访问HBase表中的行，有哪些方式:通过一个行健的区间来访问，通过单个行键来访问、全表扫描 HBase和传统关系型数据库的区别在于哪些方面:数据操作、数据模型、存储模式、数据索引 下列对HBase的理解正确的是：HBase多用于存储非结构化和半结构化的松散数据，HBase是针对谷歌BigTable的开源实现

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧

文章名称：MOOC大数据Note-创新互联
当前链接：http://mzwzsj.com/article/pidjs.html