分类：PySpark基本操作

2021
07-04

windowns使用PySpark环境配置和基本操作

下载依赖首先需要下载hadoop和spark，解压，然后设置环境变量。hadoop清华源下载spark清华源下载HADOOP_HOME=>/path/hadoopSPARK_HOME=>/path/spark安装pyspark。pipinstallpyspark基本使用可以在shell终端，输入pyspark，有如下回显：输入以下指令进行测试，并创建SparkContext，SparkContext是任何spark功能的入口点。>>>frompysparkimportSparkContext>>>sc=SparkContext("local","FirstApp")如果以上不会报错，... 继续阅读 >