starksummer 2019-05-02 13:02:34 Spark任务提交方式和执行流程 Executor向SparkContext申请Task (4)Task Scheduler将Task发放给Executor运行同时SparkContext将应用程序代码发放给Executor。否则,重新提交整个stage。其他三种是失败。
starksummer 2019-03-31 04:24:41 Find Data in DynamoDB in Spark FindDatainDynamoDBinSpark Igetasmalltaskrecently,inourDynamoDB,thereisonecolumninonetable,atfirstweputbaddataintablesayi
starksummer 2018-10-08 15:06:58 Ignite集成Spark之IgniteDataFrames 本系列共两篇文章,主要探讨如何将Ignite和Spark进行集成。因此,这两种技术是可以互补的。提高RDD、DataFrame和SQL的性能;在Spark作业之间更方便地共享状态和数据。关于Ignite和Spark的集成,内容就是这些了。
starksummer 2018-09-18 11:07:23 Spark学习(九):数据模型之RDD的Transformation和Action 但在数据集T和U上调用时,返回一个(T,U)对的数据集,所有元素交互进行笛卡尔积。(2)Actions具体内容 1)reduce(func) : 通过函数func聚集数据集中的所有元素。Func函数接受2个参数,返回一个值。
starksummer 2018-09-14 07:57:34 Ignite集成Spark之IgniteRDD 本系列共两篇文章,会探讨如何将Ignite和Spark进行集成。因此,这两种技术是可以互补的。代码共包括两个简单的Scala应用和两个Java应用。关于IgniteContext和IgniteRDD的更多信息,可以看Ignite的文档。
starksummer 2017-10-20 07:09:56 Spark三种属性配置方式详解 spark-submit工具可以通过--conf标记接收任何的Spark属性。其次是对spark-submit 或 spark-shell通过flags配置;最后是spark-defaults.conf文件中的配置。
starksummer 2017-07-13 16:03:07 Spark 体系架构 Spark内存分配 在你的cluster或是localmachine上正常运行的任何Spark程序都是一个JVM进程。OK,你可能听说Spark是基于内存的工具,它允许你将数据存在内存中。问题是Spark是如何来使用这部分内存呢?
starksummer 2016-11-07 21:56:30 spark弹性分布式数据集基本操作 二、spark弹性分布式数据集基本操作 1 弹性分布式数据集 RDD,弹性分布式数据集,是spark对分布式数据和计算的基本抽象。spark弹性分布式数据集基本操作 2.8 笛卡儿积操作 ① 所有可能组合;spark弹性分布式数据集基本操作
starksummer 2016-10-26 22:18:51 Mesos资源调度与管理的深入分享与交流 有与Mesos通信的接口。Mesos首先提高了资源冗余率。Mesos Master把可用资源报告给Spark或Hadoop。3. Mesos集群资源混用的问题。网络资源紧张。周伟涛:Spark + Mesos;docker + mesos;
starksummer 2015-07-22 16:30:32 Spark Streaming 读取RabbitMQ https://github.com/zlaidandan/java/blob/master/RMQReceiver.cala
starksummer 2015-05-20 22:40:07 Spark(8)Non Fat Jar/Cassandra Cluster Issue and Spark Version 1.3.1 https://github.com/apache/spark/pull/288?
starksummer 2014-12-16 04:19:15 DevOps(5)Spark Deployment on VM autoReconnect=true&cqlsh> use device_lookup;delete from profile_devices where brandcode = 'spark' and profileid = 5;