在Spark推荐系统编程中,一般都是通过文件加载成RDD:

//在这里默认 (userId, itemId, preference)

val fields = sparkContext.textFile("").split(" ").map{ field =>

field(1), field(2), field(3)

}

  • 1
  • 2
  • 3
  • 4

然后直接操作RDD,诸如:

groupBy(field._1)

map (field._2)

sortBy(field._3)

  • 1
  • 2
  • 3

但是某些时候,想用到scala的数据结构比如TreeMap、HashMap之类的。

在scala里,集合之间的转换可以通过fold, foldLeft, foldRight

fold只能同构转换,而foldLeft在scala程序中能用,但是在RDD不能用,这涉及到并行的问题

在scala集合中,foldLeft可以这样用:

//数据格式为

// TreeMap(userId, TreeMap(itemId, preference))

val preferences = fields.foldLeft(

TreeMap[Long, TreeMap[Long, Double]]()) {

(m, e) =>

val (userId, itemId, preference) = e

val values = m.getOrElse(

userId, TreeMap[Long, Double]())

m + (userId->(values+(itemId->preference)))

}

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12

RDD不能用foldLeft,官方提供了一个方法aggregate

Aggregate the elements of each partition, and then the results for all the partitions, using given combine functions and a neutral “zero value”.

This function can return a different result type, U, than the type of this RDD, T.

Thus, we need one operation for merging a T into an U and one operation for merging two U’s, as in scala.TraversableOnce.

Both of these functions are allowed to modify and return their first argument instead of creating a new U to avoid memory allocation.

aggregate函数将每个分区里面的元素进行聚合,然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函数最终返回的类型不需要和RDD中元素类型一致。

aggregate函数原型:

def aggregate[U: ClassTag](zeroValue: U)(

seqOp: (U, T) => U, combOp: (U, U) => U): U

  • 1
  • 2

RDD用aggregate转换成其他数据结构:

// TreeMap(userId, TreeMap(itemId, preference))

val preferences = fields.aggregate(

TreeMap[Long, TreeMap[Long, Double]]()) (

{

(m, e) =>

val (userId, itemId, preference) = e

val values = m.getOrElse(

userId, TreeMap[Long, Double]())

m + (userId->(values+(itemId->preference)))

},

{

(map1, map2) =>

map1 ++ map2

})

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16

通过这样,我们就得到了从RDD转换成TreeMap数据结构。

值得注意的是,通过aggregate函数是相当于把数据collect到Driver上,因此对转换后的数据结构操作并不能像RDD那样分布式

Spark RDD转换成其他数据结构