SQL读取csv问题

2018-08-15 02:41:52 260 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

Pyspark 读取本地csv文件，插入parquet格式的hive表中在CDSW上模型运行出结果，为csv文件。由于报表的需求，要将csv文件插入到parquet格式中的表中。在其中遇到了很多坑，在此记下来，希望能帮助到遇到同样问题的人。 1、初始化配置创建Spark Session。（注意事项：Spark2.0版本开始将sqlContext、hiveContext统一整合为SparkSession） 2、读取文件并转换为Spark DataFrame格... 阅读详情

如下代码，我需要将路径的文件夹名取当天的日期，求教怎么组合
另外是否可以将fnote列值写为路径中的文件夹名“DPR001”

use MySql
/*
CREATE TABLE [dbo].[temp_pre](
[time1] [float] NULL,
[time2] [float] NULL,
[fdate] [nvarchar](50) NULL,
[ftime] [nvarchar](50) NULL,
[fnote] [nvarchar](50) NULL
)
*/
BULK INSERT temp_pre
FROM 'D:\DPR001\2018-08-15.csv'
--FROM 'D:\DPR001\'+convert(varchar(10),getdate(),120)+'.csv'
WITH
(
FIELDTERMINATOR = ',',
ROWTERMINATOR = '\n'
)
delete from temp_pre where time1 is null
SELECT * FROM temp_pre

...全文