打包运行 项目部署 startalone模式 和 yarn模式
1：把local 本地运行删掉 输入输出路径改为args(0) args(1) 删除左边target文件
顶部 bulid->bulid project 然后右侧打包package 在target下拷贝jar包到桌面上
2:必须启动 hdfs(hadoop) spark
3：进入hdfs的sbin目录 执行: hadoop fs -ls / 查看hdfs目录 hadoop fs -mkdir /wcdata 创建单词统计的文件夹
hadoop fs -put /usr/local/xujunqi/aa.txt /wcdata 把文件上传到wcdata 目录下 netstat -tunl(表示看一下释放的端口)
hadoop fs -cat hdfs://hadoop101:9000/wcdata/aa.txt 查看txt文件内容
hadoop fs -ls /wcresult hadoop fs -cat /wcresult2/part-00000
Standalone模式 在spark的bin目录下运行
#Linux单核、代码删除设置setMaster("spark://hdp1:7077")
./spark-submit14 --class com.xiangmu_bushu.Stream_WordCount15 --master spark://hadoop101:7077\
--executor-memory 1G17 --total-executor-cores 318 /opt/module/jars/monthlycheck-1.0-SNAPSHOT.jar19 hdfs://hadoop101:9000/wcdata/aa.txt\
hdfs://hadoop101:9000/wcresult/
3：Yarn模式将
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop 追加到spark-env.sh
./spark-submit27 --class com.xiangmu_bushu.Stream_WordCount28 --master yarn --deploy-mode cluster29 --executor-memory 1G30 --executor-cores 331 /opt/module/jars/monthlycheck-1.0-SNAPSHOT.jar32 hdfs://hadoop101:9000/wcdata/aa.txt\
hdfs://hadoop101:9000/wcresult2/ 