数据深加工处理

wwfxgm 2018-12-15 05:20:05
我工作中遇到一个问题，要以book_id 归类， 但是其中去重复很难搞定。
我提供下面的测试数据和需要的结果数据。

测试数据如下：
INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'31', N'2018-2019', N'蛋白质与酶工程', N'C##学院', N'A', N'杨开凤'); GO

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'140', N'2018-2019', N'仪器分析', N'C##学院', N'B', N'于子涵'); GO

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'140', N'2018-2019', N'仪器分析', N'C##学院', N'C', N'穆纨'); GO

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'316', N'2018-2019', N'专业英语', N'C##学院', N'D', N'陈灵竹'); GO

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验C', N'C##学院', N'A', N'郑桂兰'); GO

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验C', N'C##学院', N'B', N'郑启芬'); GO

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'分析1', N'C##学院', N'C', N'班明露'); GO

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验A1', N'C##学院', N'D', N'何鑫琳'); GO

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验A1', N'C##学院', N'E', N'王枝'); GO

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验E', N'C##学院', N'F', N'王枝'); GO

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验E', N'C##学院', N'G', N'金青'); GO

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验D', N'C##学院', N'H', N'杨琦'); GO





我需要的结果是：

INSERT INTO [Sheet2]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'31', N'2018-2019', N'蛋白质与酶工程', N'C##学院', N'A', N'杨开凤'); GO

INSERT INTO [Sheet2]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'140', N'2018-2019', N'仪器分析', N'C##学院', N'B/C', N'于子涵/穆纨'); GO

INSERT INTO [Sheet2]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'316', N'2018-2019', N'专业英语', N'C##学院', N'D', N'陈灵竹'); GO

INSERT INTO [Sheet2]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验C/分析1/实验A1/实验E/实验D', N'C##学院', N'A/B/C/D/E/F/G/H', N'郑桂兰/郑启芬/班明露/何鑫琳/王枝/金青/杨琦'); GO
...全文
1108 14 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
14 条回复
切换为时间正序
请发表友善的回复…
发表回复
只有自己改变自己 2018-12-18
  • 打赏
  • 举报
 回复
棋牌游戏可以破解吗？
小友之家 2018-12-17
  • 打赏
  • 举报
 回复
大神，我想问ping-f不拆分是什么意思。为什么可以解决最大路径的问题呀
小黑蛇 2018-12-17
  • 打赏
  • 举报
 回复
加油一楼下！
二月十六 2018-12-16
  • 打赏
  • 举报
 回复
引用 8 楼 wwfxgm 的回复:
[quote=引用 7 楼 二月十六 的回复:] 
SELECT BOOK_ID,
       Semester,
       STUFF(
       (
           SELECT '/' + course_name
           FROM
           (
               SELECT DISTINCT
                   b.course_name
               FROM dbo.Sheet2222 b
               WHERE a.BOOK_ID = b.BOOK_ID
           ) t
           FOR XML PATH('')
       ),
       1,
       1,
       ''
            ) AS course_name,
       a.department_name,
       STUFF(
       (
           SELECT '/' + Class_name
           FROM
           (
               SELECT DISTINCT
                   b.Class_name
               FROM dbo.Sheet2222 b
               WHERE a.BOOK_ID = b.BOOK_ID
           ) t
           FOR XML PATH('')
       ),
       1,
       1,
       ''
            ) AS Class_name,
       STUFF(
       (
           SELECT '/' + Teacher_name
           FROM
           (
               SELECT DISTINCT
                   b.Teacher_name
               FROM dbo.Sheet2222 b
               WHERE a.BOOK_ID = b.BOOK_ID
           ) t
           FOR XML PATH('')
       ),
       1,
       1,
       ''
            ) AS Teacher_name
FROM [Sheet2222] a
GROUP BY BOOK_ID,
         Semester,
         a.department_name;
版主大神，您这个是符合要求的，但是为什么不用string_agg? 如果使用string_agg (SELECT DISTINCT b.Class_name FROM dbo.Sheet2222 b WHERE a.BOOK_ID = b.BOOK_ID,'/') 这个为啥出不来啊。 使用stuff倒是可以出来了。[/quote] 我这版本不支持这个函数
qq_17172005 2018-12-16
  • 打赏
  • 举报
 回复
围观看看，有点难度。
wwfxgm 2018-12-16
  • 打赏
  • 举报
 回复
引用 7 楼 二月十六 的回复:
SELECT BOOK_ID,

       Semester,

       STUFF(

       (

           SELECT '/' + course_name

           FROM

           (

               SELECT DISTINCT

                   b.course_name

               FROM dbo.Sheet2222 b

               WHERE a.BOOK_ID = b.BOOK_ID

           ) t

           FOR XML PATH('')

       ),

       1,

       1,

       ''

            ) AS course_name,

       a.department_name,

       STUFF(

       (

           SELECT '/' + Class_name

           FROM

           (

               SELECT DISTINCT

                   b.Class_name

               FROM dbo.Sheet2222 b

               WHERE a.BOOK_ID = b.BOOK_ID

           ) t

           FOR XML PATH('')

       ),

       1,

       1,

       ''

            ) AS Class_name,

       STUFF(

       (

           SELECT '/' + Teacher_name

           FROM

           (

               SELECT DISTINCT

                   b.Teacher_name

               FROM dbo.Sheet2222 b

               WHERE a.BOOK_ID = b.BOOK_ID

           ) t

           FOR XML PATH('')

       ),

       1,

       1,

       ''

            ) AS Teacher_name

FROM [Sheet2222] a

GROUP BY BOOK_ID,

         Semester,

         a.department_name;




版主大神，您这个是符合要求的，但是为什么不用string_agg?
如果使用string_agg (SELECT DISTINCT
b.Class_name
FROM dbo.Sheet2222 b
WHERE a.BOOK_ID = b.BOOK_ID,'/') 这个为啥出不来啊。 使用stuff倒是可以出来了。
weixin_44122020 2018-12-16
  • 打赏
  • 举报
 回复
顶帖，谢谢分享
二月十六 2018-12-15
  • 打赏
  • 举报
 回复 
SELECT BOOK_ID,

       Semester,

       STUFF(

       (

           SELECT '/' + course_name

           FROM

           (

               SELECT DISTINCT

                   b.course_name

               FROM dbo.Sheet2222 b

               WHERE a.BOOK_ID = b.BOOK_ID

           ) t

           FOR XML PATH('')

       ),

       1,

       1,

       ''

            ) AS course_name,

       a.department_name,

       STUFF(

       (

           SELECT '/' + Class_name

           FROM

           (

               SELECT DISTINCT

                   b.Class_name

               FROM dbo.Sheet2222 b

               WHERE a.BOOK_ID = b.BOOK_ID

           ) t

           FOR XML PATH('')

       ),

       1,

       1,

       ''

            ) AS Class_name,

       STUFF(

       (

           SELECT '/' + Teacher_name

           FROM

           (

               SELECT DISTINCT

                   b.Teacher_name

               FROM dbo.Sheet2222 b

               WHERE a.BOOK_ID = b.BOOK_ID

           ) t

           FOR XML PATH('')

       ),

       1,

       1,

       ''

            ) AS Teacher_name

FROM [Sheet2222] a

GROUP BY BOOK_ID,

         Semester,

         a.department_name;


wwfxgm 2018-12-15
  • 打赏
  • 举报
 回复
引用 5 楼 吉普赛的歌 的回复:
USE tempdb

GO

IF OBJECT_ID('[Sheet2222]') IS NOT NULL DROP TABLE [Sheet2222]

GO

CREATE TABLE [Sheet2222](

	[BOOK_ID] INT, 

	[Semester] VARCHAR(20), 

	[course_name] NVARCHAR(30), 

	[department_name] NVARCHAR(20), 

	[Class_name] NVARCHAR(10), 

	[Teacher_name] NVARCHAR(10)

)

GO

SET NOCOUNT ON

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'31', N'2018-2019', N'蛋白质与酶工程', N'C##学院', N'A', N'杨开凤')

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'140', N'2018-2019', N'仪器分析', N'C##学院', N'B', N'于子涵')

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'140', N'2018-2019', N'仪器分析', N'C##学院', N'C', N'穆纨')

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'316', N'2018-2019', N'专业英语', N'C##学院', N'D', N'陈灵竹')

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验C', N'C##学院', N'A', N'郑桂兰')

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验C', N'C##学院', N'B', N'郑启芬')

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'分析1', N'C##学院', N'C', N'班明露')

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验A1', N'C##学院', N'D', N'何鑫琳')

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验A1', N'C##学院', N'E', N'王枝')

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验E', N'C##学院', N'F', N'王枝')

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验E', N'C##学院', N'G', N'金青')

INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验D', N'C##学院', N'H', N'杨琦')

GO

SELECT BOOK_ID

,[Semester]

,STUFF((SELECT '/'+course_name FROM Sheet2222 AS b WHERE a.BOOK_ID=b.BOOK_ID AND a.Semester=b.Semester FOR XML PATH('')),1,1,'') AS course_name

,a.department_name

,STUFF((SELECT '/'+[Class_name] FROM Sheet2222 AS b WHERE a.BOOK_ID=b.BOOK_ID AND a.Semester=b.Semester FOR XML PATH('')),1,1,'') AS [Class_name]

,STUFF((SELECT '/'+[Teacher_name] FROM Sheet2222 AS b WHERE a.BOOK_ID=b.BOOK_ID AND a.Semester=b.Semester FOR XML PATH('')),1,1,'') AS [Teacher_name]

FROM [Sheet2222] AS a

GROUP BY BOOK_ID,[Semester],a.department_name







版主您好，我主要是要实现：course_name 里面的结果是不重复的。
根据你的代码，course_name 还是会有重复值出现 。比如 这条记录 实验C/实验C/分析1/实验A1/实验A1/实验E/实验E/实验D

我简单的语句，基本会写了，我用了 sqlserver2017版本自带的 string_agg ，合成是没有问题，但是删除重复值，实在超出我的能力范围了，想了好几天不得其解 。

吉普赛的歌 2018-12-15
  • 打赏
  • 举报
 回复 
USE tempdb
GO
IF OBJECT_ID('[Sheet2222]') IS NOT NULL DROP TABLE [Sheet2222]
GO
CREATE TABLE [Sheet2222](
	[BOOK_ID] INT, 
	[Semester] VARCHAR(20), 
	[course_name] NVARCHAR(30), 
	[department_name] NVARCHAR(20), 
	[Class_name] NVARCHAR(10), 
	[Teacher_name] NVARCHAR(10)
)
GO
SET NOCOUNT ON
INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'31', N'2018-2019', N'蛋白质与酶工程', N'C##学院', N'A', N'杨开凤')
INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'140', N'2018-2019', N'仪器分析', N'C##学院', N'B', N'于子涵')
INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'140', N'2018-2019', N'仪器分析', N'C##学院', N'C', N'穆纨')
INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'316', N'2018-2019', N'专业英语', N'C##学院', N'D', N'陈灵竹')
INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验C', N'C##学院', N'A', N'郑桂兰')
INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验C', N'C##学院', N'B', N'郑启芬')
INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'分析1', N'C##学院', N'C', N'班明露')
INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验A1', N'C##学院', N'D', N'何鑫琳')
INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验A1', N'C##学院', N'E', N'王枝')
INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验E', N'C##学院', N'F', N'王枝')
INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验E', N'C##学院', N'G', N'金青')
INSERT INTO [Sheet2222]([BOOK_ID], [Semester], [course_name], [department_name], [Class_name], [Teacher_name]) VALUES (N'477', N'2018-2019', N'实验D', N'C##学院', N'H', N'杨琦')
GO
SELECT BOOK_ID
,[Semester]
,STUFF((SELECT '/'+course_name FROM Sheet2222 AS b WHERE a.BOOK_ID=b.BOOK_ID AND a.Semester=b.Semester FOR XML PATH('')),1,1,'') AS course_name
,a.department_name
,STUFF((SELECT '/'+[Class_name] FROM Sheet2222 AS b WHERE a.BOOK_ID=b.BOOK_ID AND a.Semester=b.Semester FOR XML PATH('')),1,1,'') AS [Class_name]
,STUFF((SELECT '/'+[Teacher_name] FROM Sheet2222 AS b WHERE a.BOOK_ID=b.BOOK_ID AND a.Semester=b.Semester FOR XML PATH('')),1,1,'') AS [Teacher_name]
FROM [Sheet2222] AS a
GROUP BY BOOK_ID,[Semester],a.department_name
wwfxgm 2018-12-15
  • 打赏
  • 举报
 回复



这个是原始数据模式，具体我放在一楼的测试数据脚本里面。
wwfxgm 2018-12-15
  • 打赏
  • 举报
 回复
引用 2 楼 二月十六 的回复:
两表的表结构也贴出来吧


版主，我的测试数据，不能算数据结构吗？
二月十六 2018-12-15
  • 打赏
  • 举报
 回复
两表的表结构也贴出来吧
wwfxgm 2018-12-15
  • 打赏
  • 举报
 回复



这个是需要的结果图片
数据中台-数据加工处理平台
数据加工处理是实现数据标准化的过程，包括了数据的提取、清洗、关联、比对、标识、对象化等操作，支持实时计算和离线计算，支持批量处理操作。数据传输过程支持分布式数据传输方式。在数据处理过程中，引入人工智能技术，实现结构化和非结构化数据的处理，采用图计算和内存计算技术，实现数据的价值提升。在数据处理过程中，引入模型体系和标签工程和知识图谱技术，进一步提升数据价值密度，为数据智能应用实现数据增值、数据准备、数据抽象。
什么是数据处理
什么是数据处理 数据处理是指对数据（包括数值的和非数值的）进行分析和加工的技术过程。也就是对数据的采集、存储、检索、加工、变换和传输，将数据转换为信息的过程。 数据处理的涵义 数据是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据的形式可以是数字、文字、图形或声音等。数据经过解释并赋予一定的意义之后，便成为信息。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数据处理是系统工程和自动控制的基本环节。数据处理贯
数据处理
数据（Data）是对事实、概念或指令的一种表达形式，可由人工或自动化装置进行处理。数据经过解释并赋予一定的意义之后，便成为信息。数据处理（data processing）是对数据的采集、存储、检索、加工、变换和传输。数据处理的基本目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取并推导出对于某些特定的人们来说是有价值、有意义的数据。数据处理是系统工程和自动控制的基本环节。数据处理贯穿于社会生产...
Excel数据分析学习笔记（五）数据的清洗和加工
** 第四章 数据的清洗和加工 ** ** 1，数据清洗 ** 目的：将多余的、错误的数据清洗出去，留下有价值的数据。 1）删除重复项的方法： ①　单击【数据】选项卡下【数据工具】组中的【删除重复值】，设置删除列。 ②　根据人名排序，找到重复值，进行人工排查是否重名，然后进行删除。 ③　选中某一列数据，选择【开始】选项卡下【条件格式】下拉菜单当中的【突出显示单元格规则】选项，再选择【重复值】选项。 2）处理默认值的方法 ①　找出默认值。大多数情况下默认的数据会以空白单元格显示。使用【Ctrl+G】组合键打开
在微型计算机内部 加工处理采用,在微型计算机内部，加工处理、存储、传运的数据和指令都采用(...
[单选题]在微型计算机内部，加工处理、存储、传运的数据和指令都采用( )A. 十六进制码B. 十进制码C. 八进制码D. 二进制码E. ASCⅡ码正确答案 ：D解析：计算机内部，加工处理、存储、传运的数据和指令均为二进制码。[单选题]《金匮要略》是哪位医家所著( )A. 张仲景B. 林亿C. 扁鹊D. 张景岳E. 王叔和正确答案 ：A[单选题]症见"吐涎沫""多涎唾""遗尿，小便数"者，...
疑难问题

22,300

社区成员

121,734

社区内容

发帖
与我相关
我的任务
社区描述
MS-SQL Server 疑难问题
社区管理员
  • 疑难问题社区
  • 尘觉
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章