spark在hdfs新建文件并写入内容-创新互联

val hdfs: FileSystem = org.apache.hadoop.fs.FileSystem.get(new org.apache.hadoop.conf.Configuration())
//spark中使用 val hdfs: FileSystem =  FileSystem.get(spark.sparkContext.hadoopConfiguration)
val out = hdfs.create(new Path(s"hdfs://${filePath}/${ph.name}/人脸多档对应的抓拍集合.html"),true) // 第二个参数true 表示覆盖同名文件

// 适合少量数据
df_face_html.collect().foreach{
            ph =>if (ph.urls.nonEmpty) {
                out.write(ph.urls.get.getBytes) //中文不乱码 文本顶部无异常字符 
            }
        }

out.flush()
out.close()

case class personHtml(name:String,urls:Option[String])

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧