starksummer

starksummer

JAVA、Python、Spark

文章 阅读 29
starksummer
starksummer

Spark任务提交方式和执行流程

Executor向SparkContext申请Task (4)Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。否则,重新提交整个stage。其他三种是失败。
文章 阅读 23
文章 阅读 21
starksummer
starksummer

Ignite集成Spark之IgniteDataFrames

本系列共两篇文章,主要探讨如何将Ignite和Spark进行集成。因此,这两种技术是可以互补的。提高RDD、DataFrame和SQL的性能;在Spark作业之间更方便地共享状态和数据。关于Ignite和Spark的集成,内容就是这些了。
文章 阅读 14
文章 阅读 31
starksummer
starksummer

Ignite集成Spark之IgniteRDD

本系列共两篇文章,会探讨如何将Ignite和Spark进行集成。因此,这两种技术是可以互补的。代码共包括两个简单的Scala应用和两个Java应用。关于IgniteContext和IgniteRDD的更多信息,可以看Ignite的文档。
文章 阅读 23
文章 阅读 16
starksummer
starksummer

Spark三种属性配置方式详解

spark-submit工具可以通过--conf标记接收任何的Spark属性。其次是对spark-submit 或 spark-shell通过flags配置;最后是spark-defaults.conf文件中的配置。
文章 阅读 16
starksummer
starksummer

Spark 体系架构

Spark内存分配 在你的cluster或是localmachine上正常运行的任何Spark程序都是一个JVM进程。OK,你可能听说Spark是基于内存的工具,它允许你将数据存在内存中。问题是Spark是如何来使用这部分内存呢?
文章 阅读 8
starksummer
starksummer

spark弹性分布式数据集基本操作

二、spark弹性分布式数据集基本操作 1 弹性分布式数据集 RDD,弹性分布式数据集,是spark对分布式数据和计算的基本抽象。spark弹性分布式数据集基本操作 2.8 笛卡儿积操作 ① 所有可能组合;spark弹性分布式数据集基本操作
文章 阅读 13
文章 阅读 21
文章 阅读 16
文章 阅读 36