Spark的RDD操作有哪些

这篇文章主要讲解了“Spark的RDD操作有哪些”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Spark的RDD操作有哪些”吧！

创新互联长期为上千余家客户提供的网站建设服务，团队从业经验10年，关注不同地域、不同群体，并针对不同对象提供差异化的产品和服务；打造开放共赢平台，与合作伙伴共同营造健康的互联网生态环境。为大丰企业提供专业的网站建设、成都网站设计，大丰网站改版等技术服务。拥有十年丰富建站经验和众多成功案例,为您定制开发。

Spark的RDD

在Spark中一切都是以RDD为基础和核心的：

每个RDD的API如下所示：

Spark官方文档中给出了的众多的RDD：

RDD中的操作分为transformations和actions两种：

下面举一个例子来说明RDD的使用：

另外有两个特殊的RDD:

他们都是controlling operations：

RDD在执行的时候都是并行的：

Spark的高容错机制lineage

基于DAG图，lineage是轻量级而高效的：

操作之间相互具备lineage的关系，每个操作只关心其父操作，各个分片的数据之间互不影响，出现错误的时候只要恢复单个Split的特定部分即可：

感谢各位的阅读，以上就是“Spark的RDD操作有哪些”的内容了，经过本文的学习后，相信大家对Spark的RDD操作有哪些这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！