当前位置 : 主页 > 网络编程 > 其它编程 >

Spark入门之四：Spark任务调度架构

来源：互联网 收集：自由互联 发布时间：2023-07-02
以Spark集群的方式运行standlone的运行：binspark-shell--masterspark:hadoop1:7077--executor-memory3g运行在Yarn 以Spark集群的方式运行 standlone 的运行：bin/spark-shell --master spark://hadoop1:7077 --executor-memory 3g
以Spark集群的方式运行standlone的运行：binspark-shell--masterspark:hadoop1:7077--executor-memory3g运行在Yarn
  • 以Spark集群的方式运行
  • standlone 的运行：bin/spark-shell --master spark://hadoop1:7077 --executor-memory 3g
  • 运行在Yarn上
  • yarn-client的运行：bin/spark-shell --master yarn-client --executor-memory 3g --num-executors 3
  • yarn-cluster的运行：./bin/spark-submit --master yarn-cluster --class week2.SogouQA --executor-memory 3g week2.jar hdfs://hadoop1:8000/dataguru/data/SogouQ1.txt hdfs://hadoop1:8000/dataguru/week2/output3
    • 上一篇：java服务监控_Java服务端监控方案（四.Java篇）
    下一篇：没有了
    网友评论
    相关栏目
    最近更新
    热门文章