Spark数据导入时的类型检测相关问题-创新互联

Spark 可以读取文本，csv和rmdb中的数据，并且带有类型自动检测功能

public final static String DATA_SEPARATOR_TAB = "\t";

session.read().format("csv").option("delimiter", Constants.DATA_SEPARATOR_TAB).option("inferSchema", "true").option("header", "true").option("encoding", charset).csv(path).toDF(columnNames).write().mode(mode).saveAsTable(tempTable);

红色属性决定spark是否自动探测数据类型，如果不开启自动探测，默认都是string

rdbms导入到spark中默认会类型探测和对应，但是在处理sqlserver的时间类型有问题

如上图所示

只有datetime可以被spark识别并存储为日期类型，其他的都落地成了String类型，所以在执行data_formate时因为要多做一步转换所以性能会差很多

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。