关于spark踩坑之sc特殊性

最近在搞spark,在封装scala和python的sdk时,发现一些很玄妙的事情:

以下是所需封装的python模块文件basejob.py,直接定义全局变量sc,在被import到别的程序中会无法使用这个全局变量sc,经验证需要在函数里定义并把它传递过去才可以。

关于spark踩坑之sc特殊性

相关推荐