hive multi-group-by 用distinct去重出现问题

其他技术论坛 > 分布式计算/Hadoop
收藏 回复
[问题点数：81分，结帖人tchqiq]
更多帖子
私信 空间 博客
tchqiq
等级
本版专家分：0
勋章
Blank
GitHub
结帖率 100%
写HiveQL遇到个问题~主要用的是hive特有的语法，hive支持一种multi group 不用的写法（或叫multi insert？），执行完后发现，计算的uv不对。不多说废话，直接贴代码吧：


FROM (

select expid(curl,'pid2.properties') as epid,--抽取产品id

expid(exagent(agt)['name'],'browse.properties') as browser,--根据agent头抽取浏览器

expid(exagent(agt)['category'],'category.properties') as category,--根据agent头抽取平台

expid(exagent(agt)['os'],'os.properties') as os,--根据agent头抽取操作系统

uid,

cid

from file_pv_track where pdate = '$date'

) a

INSERT OVERWRITE DIRECTORY '$output1' $sql1

INSERT OVERWRITE DIRECTORY '$output2' $sql2

INSERT OVERWRITE DIRECTORY '$output3' $sql3


3个sql变量如下：



sql1="select '$date',

a.epid,

a.os,

count(1) as pv,

count(distinct a.cid) as uv,

count(distinct a.uid) as l_uv

group by a.epid,a.os"; 



sql2="select '$date',

a.epid,

a.category,

count(1) as pv,

count(distinct a.cid) as uv,

count(distinct a.uid) as l_uv

group by a.epid,a.category";



sql3="select '$date',

a.epid,

a.browser,

count(1) as pv,

count(distinct a.cid) as uv,

count(distinct a.uid) as l_uv

group by a.epid,a.browser";


我的意图是先查出一个集合，然后用这个集合进行不同的group by操作
这个HiveQL要进行4个job，第一个就是跑From查询，然后后边3个依赖第一个，可以并行跑，执行过程如下：



ABSTRACT SYNTAX TREE:

(TOK_QUERY (TOK_FROM (TOK_SUBQUERY (TOK_QUERY (TOK_FROM (TOK_TABREF (TOK_TABNAME file_pv_track))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (TOK_FUNCTION expid (TOK_TABLE_OR_COL curl) 'pid2.properties') epid) (TOK_SELEXPR (TOK_FUNCTION expid ([ (TOK_FUNCTION exagent (TOK_TABLE_OR_COL agt)) 'name') 'browse.properties') browser) (TOK_SELEXPR (TOK_FUNCTION expid ([ (TOK_FUNCTION exagent (TOK_TABLE_OR_COL agt)) 'category') 'category.properties') category) (TOK_SELEXPR (TOK_FUNCTION expid ([ (TOK_FUNCTION exagent (TOK_TABLE_OR_COL agt)) 'os') 'os.properties') os) (TOK_SELEXPR (TOK_TABLE_OR_COL uid)) (TOK_SELEXPR (TOK_TABLE_OR_COL cid))) (TOK_WHERE (= (TOK_TABLE_OR_COL pdate) '2014-07-14')))) a)) (TOK_INSERT (TOK_DESTINATION (TOK_DIR '/output/online/fact_agent/2014-07-14/1405393817/fact_agent_os/')) (TOK_SELECT (TOK_SELEXPR '2014-07-14') (TOK_SELEXPR (. (TOK_TABLE_OR_COL a) epid)) (TOK_SELEXPR (. (TOK_TABLE_OR_COL a) os)) (TOK_SELEXPR (TOK_FUNCTION count 1) pv) (TOK_SELEXPR (TOK_FUNCTIONDI count (TOK_TABLE_OR_COL cid)) uv) (TOK_SELEXPR (TOK_FUNCTIONDI count (TOK_TABLE_OR_COL uid)) l_uv)) (TOK_GROUPBY (. (TOK_TABLE_OR_COL a) epid) (. (TOK_TABLE_OR_COL a) os))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR '/output/online/fact_agent/2014-07-14/1405393817/fact_agent_platform/')) (TOK_SELECT (TOK_SELEXPR '2014-07-14') (TOK_SELEXPR (. (TOK_TABLE_OR_COL a) epid)) (TOK_SELEXPR (. (TOK_TABLE_OR_COL a) category)) (TOK_SELEXPR (TOK_FUNCTION count 1) pv) (TOK_SELEXPR (TOK_FUNCTIONDI count (TOK_TABLE_OR_COL cid)) uv) (TOK_SELEXPR (TOK_FUNCTIONDI count (TOK_TABLE_OR_COL uid)) l_uv)) (TOK_GROUPBY (. (TOK_TABLE_OR_COL a) epid) (. (TOK_TABLE_OR_COL a) category))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR '/output/online/fact_agent/2014-07-14/1405393817/fact_agent_browser/')) (TOK_SELECT (TOK_SELEXPR '2014-07-14') (TOK_SELEXPR (. (TOK_TABLE_OR_COL a) epid)) (TOK_SELEXPR (. (TOK_TABLE_OR_COL a) browser)) (TOK_SELEXPR (TOK_FUNCTION count 1) pv) (TOK_SELEXPR (TOK_FUNCTIONDI count (TOK_TABLE_OR_COL cid)) uv) (TOK_SELEXPR (TOK_FUNCTIONDI count (TOK_TABLE_OR_COL uid)) l_uv)) (TOK_GROUPBY (. (TOK_TABLE_OR_COL a) epid) (. (TOK_TABLE_OR_COL a) browser))))

CONSOLE#

STAGE DEPENDENCIES:

Stage-3 is a root stage

Stage-4 depends on stages: Stage-3

Stage-0 depends on stages: Stage-4

Stage-5 depends on stages: Stage-3

Stage-1 depends on stages: Stage-5

Stage-6 depends on stages: Stage-3

Stage-2 depends on stages: Stage-6

CONSOLE#

STAGE PLANS:

Stage: Stage-3

Map Reduce

Alias -> Map Operator Tree:

a:file_pv_track

TableScan

alias: file_pv_track

Select Operator

expressions:

expr: expid(curl, 'pid2.properties')

type: string

expr: expid(exagent(agt)['name'], 'browse.properties')

type: string

expr: expid(exagent(agt)['category'], 'category.properties')

type: string

expr: expid(exagent(agt)['os'], 'os.properties')

type: string

expr: uid

type: string

expr: cid

type: string

outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5

Reduce Output Operator

key expressions:

expr: _col5

type: string

expr: _col4

type: string

sort order: ++

Map-reduce partition columns:

expr: _col5

type: string

expr: _col4

type: string

tag: -1

value expressions:

expr: _col0

type: string

expr: _col3

type: string

expr: 1

type: int

expr: _col2

type: string

expr: _col1

type: string

Reduce Operator Tree:

Forward

Group By Operator

aggregations:

expr: count(VALUE._col2)

expr: count(DISTINCT KEY._col0)

expr: count(DISTINCT KEY._col1)

bucketGroup: false

keys:

expr: VALUE._col0

type: string

expr: VALUE._col1

type: string

mode: hash

outputColumnNames: _col0, _col1, _col2, _col3, _col4

File Output Operator

compressed: false

GlobalTableId: 0

table:

input format: org.apache.hadoop.mapred.SequenceFileInputFormat

output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat

Group By Operator

aggregations:

expr: count(VALUE._col2)

expr: count(DISTINCT KEY._col0)

expr: count(DISTINCT KEY._col1)

bucketGroup: false

keys:

expr: VALUE._col0

type: string

expr: VALUE._col3

type: string

mode: hash

outputColumnNames: _col0, _col1, _col2, _col3, _col4

File Output Operator

compressed: false

GlobalTableId: 0

table:

input format: org.apache.hadoop.mapred.SequenceFileInputFormat

output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat

Group By Operator

aggregations:

expr: count(VALUE._col2)

expr: count(DISTINCT KEY._col0)

expr: count(DISTINCT KEY._col1)

bucketGroup: false

keys:

expr: VALUE._col0

type: string

expr: VALUE._col4

type: string

mode: hash

outputColumnNames: _col0, _col1, _col2, _col3, _col4

File Output Operator

compressed: false

GlobalTableId: 0

table:

input format: org.apache.hadoop.mapred.SequenceFileInputFormat

output format: org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat

CONSOLE#

Stage: Stage-4

Map Reduce

Alias -> Map Operator Tree:

hdfs://csdn/tmp/hive-hadoop/hive_2014-07-15_11-10-24_836_3002486700983717417-1/-mr-10003

Reduce Output Operator

key expressions:

expr: _col0

type: string

expr: _col1

type: string

sort order: ++

Map-reduce partition columns:

expr: _col0

type: string

expr: _col1

type: string

tag: -1

value expressions:

expr: _col2

type: bigint

expr: _col3

type: bigint

expr: _col4

type: bigint

Reduce Operator Tree:

Group By Operator

aggregations:

expr: count(VALUE._col0)

expr: count(VALUE._col1)

expr: count(VALUE._col2)

bucketGroup: false

keys:

expr: KEY._col0

type: string

expr: KEY._col1

type: string

mode: final

outputColumnNames: _col0, _col1, _col2, _col3, _col4

Select Operator

expressions:

expr: '2014-07-14'

type: string

expr: _col0

type: string

expr: _col1

type: string

expr: _col2

type: bigint

expr: _col3

type: bigint

expr: _col4

type: bigint

outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5

File Output Operator

compressed: false

GlobalTableId: 1

table:

input format: org.apache.hadoop.mapred.TextInputFormat

output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat

CONSOLE#

Stage: Stage-0

Move Operator

files:

hdfs directory: true

destination: /output/online/fact_agent/2014-07-14/1405393817/fact_agent_os

CONSOLE#

Stage: Stage-5

Map Reduce

Alias -> Map Operator Tree:

hdfs://csdn/tmp/hive-hadoop/hive_2014-07-15_11-10-24_836_3002486700983717417-1/-mr-10004

Reduce Output Operator

key expressions:

expr: _col0

type: string

expr: _col1

type: string

sort order: ++

Map-reduce partition columns:

expr: _col0

type: string

expr: _col1

type: string

tag: -1

value expressions:

expr: _col2

type: bigint

expr: _col3

type: bigint

expr: _col4

type: bigint

Reduce Operator Tree:

Group By Operator

aggregations:

expr: count(VALUE._col0)

expr: count(VALUE._col1)

expr: count(VALUE._col2)

bucketGroup: false

keys:

expr: KEY._col0

type: string

expr: KEY._col1

type: string

mode: final

outputColumnNames: _col0, _col1, _col2, _col3, _col4

Select Operator

expressions:

expr: '2014-07-14'

type: string

expr: _col0

type: string

expr: _col1

type: string

expr: _col2

type: bigint

expr: _col3

type: bigint

expr: _col4

type: bigint

outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5

File Output Operator

compressed: false

GlobalTableId: 2

table:

input format: org.apache.hadoop.mapred.TextInputFormat

output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat

CONSOLE#

Stage: Stage-1

Move Operator

files:

hdfs directory: true

destination: /output/online/fact_agent/2014-07-14/1405393817/fact_agent_platform

..........


可以看到它似乎是直接就先执行了distinct而没有等到stage-4，stage-5再distinct。问题应该出现这里

如果不用multi-group-by就没有问题了，代码如下：


select '2014-07-07',

a.epid,

a.category,

count(1) as pv,

count(distinct cid) as uv,

count(distinct uid) as l_uv

FROM (

select expid(curl,'pid2.properties') as epid,

expid(exagent(agt)['name'],'browse.properties') as browser,

expid(exagent(agt)['category'],'category.properties') as category,

expid(exagent(agt)['os'],'os.properties') as os,

uid,

cid

from file_pv_track where pdate = '2014-07-07'

) a

group by a.epid,a.category


用multi-group-by的算出来的uv比不用的要多。。。写了这么多~哪位大神能给解答一下？
只看楼主 引用 举报 楼主 收起
展开阅读全文
更多帖子
私信 空间 博客
tchqiq
等级
本版专家分：0
勋章
Blank
GitHub
另外不是用multi-group-by的sql的执行过程如下：


ABSTRACT SYNTAX TREE:

(TOK_QUERY (TOK_FROM (TOK_SUBQUERY (TOK_QUERY (TOK_FROM (TOK_TABREF (TOK_TABNAME file_pv_track))) (TOK_INSERT (TOK_DESTINATION (TOK_DIR TOK_TMP_FILE)) (TOK_SELECT (TOK_SELEXPR (TOK_FUNCTION expid (TOK_TABLE_OR_COL curl) 'pid2.properties') epid) (TOK_SELEXPR (TOK_FUNCTION expid ([ (TOK_FUNCTION exagent (TOK_TABLE_OR_COL agt)) 'name') 'browse.properties') browser) (TOK_SELEXPR (TOK_FUNCTION expid ([ (TOK_FUNCTION exagent (TOK_TABLE_OR_COL agt)) 'category') 'category.properties') category) (TOK_SELEXPR (TOK_FUNCTION expid ([ (TOK_FUNCTION exagent (TOK_TABLE_OR_COL agt)) 'os') 'os.properties') os) (TOK_SELEXPR (TOK_TABLE_OR_COL uid)) (TOK_SELEXPR (TOK_TABLE_OR_COL cid))) (TOK_WHERE (= (TOK_TABLE_OR_COL pdate) '2014-07-07')))) a)) (TOK_INSERT (TOK_DESTINATION (TOK_DIR '/output/debug/t')) (TOK_SELECT (TOK_SELEXPR '2014-07-07') (TOK_SELEXPR (. (TOK_TABLE_OR_COL a) epid)) (TOK_SELEXPR (. (TOK_TABLE_OR_COL a) category)) (TOK_SELEXPR (TOK_FUNCTION count 1) pv) (TOK_SELEXPR (TOK_FUNCTIONDI count (TOK_TABLE_OR_COL cid)) uv) (TOK_SELEXPR (TOK_FUNCTIONDI count (TOK_TABLE_OR_COL uid)) l_uv)) (TOK_GROUPBY (. (TOK_TABLE_OR_COL a) epid) (. (TOK_TABLE_OR_COL a) category))))

CONSOLE#

STAGE DEPENDENCIES:

Stage-1 is a root stage

Stage-0 depends on stages: Stage-1

CONSOLE#

STAGE PLANS:

Stage: Stage-1

Map Reduce

Alias -> Map Operator Tree:

a:file_pv_track

TableScan

alias: file_pv_track

Select Operator

expressions:

expr: expid(curl, 'pid2.properties')

type: string

expr: expid(exagent(agt)['category'], 'category.properties')

type: string

expr: uid

type: string

expr: cid

type: string

outputColumnNames: _col0, _col2, _col4, _col5

Select Operator

expressions:

expr: _col0

type: string

expr: _col2

type: string

expr: _col5

type: string

expr: _col4

type: string

outputColumnNames: _col0, _col2, _col5, _col4

Group By Operator

aggregations:

expr: count(1)

expr: count(DISTINCT _col5)

expr: count(DISTINCT _col4)

bucketGroup: false

keys:

expr: _col0

type: string

expr: _col2

type: string

expr: _col5

type: string

expr: _col4

type: string

mode: hash

outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5, _col6

Reduce Output Operator

key expressions:

expr: _col0

type: string

expr: _col1

type: string

expr: _col2

type: string

expr: _col3

type: string

sort order: ++++

Map-reduce partition columns:

expr: _col0

type: string

expr: _col1

type: string

tag: -1

value expressions:

expr: _col4

type: bigint

expr: _col5

type: bigint

expr: _col6

type: bigint

Reduce Operator Tree:

Group By Operator

aggregations:

expr: count(VALUE._col0)

expr: count(DISTINCT KEY._col2:0._col0)

expr: count(DISTINCT KEY._col2:1._col0)

bucketGroup: false

keys:

expr: KEY._col0

type: string

expr: KEY._col1

type: string

mode: mergepartial

outputColumnNames: _col0, _col1, _col2, _col3, _col4

Select Operator

expressions:

expr: '2014-07-07'

type: string

expr: _col0

type: string

expr: _col1

type: string

expr: _col2

type: bigint

expr: _col3

type: bigint

expr: _col4

type: bigint

outputColumnNames: _col0, _col1, _col2, _col3, _col4, _col5

File Output Operator

compressed: false

GlobalTableId: 1

table:

input format: org.apache.hadoop.mapred.TextInputFormat

output format: org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat

CONSOLE#

Stage: Stage-0

Move Operator

files:

hdfs directory: true

destination: /output/debug/t
只看TA 引用 举报 #1得分 0
私信 空间 博客
weitao1234
等级
本版专家分：0
顶
只看TA 引用 举报 #2得分 81
更多帖子
私信 空间 博客
tchqiq
等级
本版专家分：0
勋章
Blank
GitHub
引用 2 楼 weitao1234 的回复:
顶
谢谢哈~我发现这问题是不是太复杂了？没人管啊。。。
只看TA 引用 举报 #3得分 0
收起
收藏 回复
tchqiq

等级：

Blank
GitHub
关注 私信 TA的帖子
hive的multi-distinct可能带来性能恶化

目前hive的版本支持multi-distinct的特性，这个在用起来比较方便，但是在此特性下面无法开启防数据倾斜的开关(set hive.groupby.skewindata=true),防止数据倾斜的参数只在单distinct情况下会通过一个job来防止数据的...

Hive中distinct和Group by效率对比及处理方式

Hive中distinct和group by效率对比，及处理方式

深度剖析Hive GroupBy，Distinct 与 Join 原理

Hive 中的 GroupBy, Distinct 和 Join GroupBy 几种 Mode 原理 相关参数 Distinct Single Distinct Multi Distinct Join Common Join Map Join——Hive MapJoin 优化历程、FaceBook Join优化 ...

Hive Sql - Multi Distinct（多个distinct在同一个query中） 优化

当多个 distinct 操作同时出现在 select 中，数据会分发多次。容易造成Reduce数据倾斜 优化点 1、如果不要求精确值，可以使用 spark-sql approx_count_distinct函数 （基数计数 hyperloglog） 2、修改SQL 基数数据...

Hive multi-distinct可能带来的性能恶化

转载： http://wolfskin.blog.163.com/blog/static/2081731282013812104016406/

hive数据倾斜之multi-distinct性能优化

集群182个节点，一天的数据量20亿条，查询网站一天的流量数据：uv、pv、ip、cookie、onlinetime，其中uv、ip、cookie 需要distinct去重。reduce到达99%的时候，就卡死了，由于多个distinct 加上数据倾斜造成的。 ...

hive-7 Hive高级查询之group-by

Group-by用处Group by语法示例注意高级特性：Multi-Group-By Insertsgroup by 优化 用处 group by经常和聚合函数一起使用，按照一个活多个列对结果进行分组，然后对每个组进行聚合操作。 Group by语法 ...

Hive 令人头痛的multi-distinct

线上一个查询简化如下：Selectdt,count(distinct c1) , count(distinct case when c2>0 and c1=0 then c1 end),count(distinct case when c2>0 and c1>0 then c1 end) from t where dtbetween ‘20131108’...

Hive SQL调优，distict去重效率竟然比group by高？union该如何优化？

难道group by就一定比distinct高效么？ 几乎所有的文档都这么写，尽量避开distinct去重，但事实真如此吗？ 让我们开看看 2、如何看懂SQL执行计划 count() 我们都知道，如果直接select * from a; 这个时候并不会走MR...

Hive union all 与 multi insert

Hive union all 与 multi insert执行测试   A insert overwrite table temp_test select accountbin,accounttype from s_tbl_cardbininfo where accounttype = 'C' union all select accountbin,accounttype ...

hive-site.xml 参数设置

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> ... Licensed to the Apache Software Foundation (ASF) under one or more contributor license agre...

hive 列表去重_hive小结 - 校招准备

行转列:explode列转行:使用函数：concat_ws(',',collect_set(column)) 说明：collect_list 不去重，collect_set 去重。 column的数据类型要求是stringhive 基础知识的总结回顾 内含我收集的几个sql题目, 用来回顾练...

关于hive multi group by的疑惑

有多条hive语句从同一张表中做... select pf,way,method,count(distinct id) where push_date_type ='$push_date_type' group by pf,way,method; select pf,way,-1,count(distinct id) where push_date_type ='$...

Hive性能调优方法--（王家林视频教程) 学习笔记

一. Hive性能调优综述 Hive的一般学习者和培训者在谈性能优化的时候一般都会从语法和参数这些雕虫小技的角度谈优化，而不会革命...Hive的核心性能问题往往是产生在超过规模的数据集，例如说100亿条级别的数据集，以...

Hive Group By 实现

和reducer.endGroup();，这两个方法会递归调用到GroupByOperator中，用于设置firstRowInGroup = true和keysCurrentGroup.clear(); 进入processOp方法，首先判断如果hashAggr如果没有实现一半以...

Hive的multi-distinct可能带来性能恶化之案例优化

目前hive的版本支持multi-distinct的特性，这个在用起来比较方便，但是在此特性下面无法开启防数据倾斜的开关(set hive.groupby.skewindata=true),防止数据倾斜的参数只在单distinct情况下会通过一个job来防止数据的...

HIVE--hive优化系列（二）--hive本身的设置优化(参数调优)

hive优化系列文章（二），通过对hive本身进行一些设置进行优化，即参数调优

Hive----Hive的优化常用小结

hive默认表存放路径一般都是在你工作目录的hive目录里面，按表名做文件夹分开，如果你 有分区表的话，分区值是子文件夹，可以直接在其它的M/R job里直接应用这部分数据 Name HDFS Directory ...

大数据基础学习-7.Hive-1.1.0

一、引入Hive原因– 对存在HDFS上的文件或HBase中的表进行查询时，要手工写一堆MapReduce代码– 对于统计任务，只能由懂MapReduce的程序员才能搞定，耗时耗力FaceBook...Hive一般不会直接接入到业务中使用，从某种意...

Hive – Group By 的实现 explain分析

准备数据 SELECT uid, SUM(COUNT) FROM logs GROUP BY uid; hive> SELECT * FROM logs; a 苹果 5 a 橙子 3 ...hive> SELECT uid, SUM(COUNT) FROM logs GROUP BY uid;

hive GroupBy操作(翻译自Hive wiki)

本文转载自：https://www.cnblogs.com/ggjucheng/archive/2013/01/09/2853798.html 作者：ggjucheng ...Group By 语法 groupByClause: GROUP BY groupByExpression (, groupByExpression)* groupByExpress...

Hive优化学习(join ,group by,in)

[color=red][b]一、join优化 [/b][/color] Join查找操作的基本原则：应该将条目少的表/子查询放在 Join 操作符的左边。原因是在 Join 操作的 Reduce 阶段，位于 Join 操作符左边的表的内容会被加载进内存，将条目...

Hive学习笔记--Hive 优化

第一部分：Hadoop 计算框架的特性 什么是数据倾斜 •由于数据的不均衡原因，导致数据分布不均匀，造成数据大量的集中到一点，造成数据热点 ...•jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，...

Hive SQL的编译过程

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive...通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有

2021华中杯A第一问配套思路.rar

2021华中杯第一问配套思路，内涵第一问处理后的可读数据，输出结果，可视化图片，RGB转换函数。（R语言代码） 声明：只可自己使用，不可商用。违者必究。 具体思路见：https://tjxwz.blog.csdn.net/article/details/116310441

Erdas遥感影像处理入门实战教程（GIS思维）

《Erdas遥感影像处理入门实战教程》以Erdas2010版本经典界面进行实战教学，设计12章内容，正式教学内容总共45课时，15个小时时长。从软件界面开始，到后的应用，适合入门级、初级、中级的人员学习、工作、教师教学参考。课程根据作者实际工作经验，以及采访学员需求，开展课程设计，实用加实战，会是你学习路上的好帮手。 《Erdas遥感影像处理入门实战教程》以Erdas2010版本经典界面进行实战教学，让学员轻松入门学习，从入门的掌握到实战。 课程采用Erdas2010(经典版)进行录制，适用于Erdas所有系列（如，erdas9.2、erdas2011 erdas2013、erdas2014等等）

ASP.NET 开发课程 MVC5 入门篇

MVC全名是Model View Controller，是模型(model)－视图(view)－控制器(controller)的缩写，一种软件设计典范，用一种业务逻辑、数据、界面显示分离的方法组织代码，将业务逻辑聚集到一个部件里面，在改进和个性化定制界面及用户交互的同时，不需要重新编写业务逻辑。 主讲内容 第一讲 MVC5简介 第二讲 MVC 控制器 第三讲 视图 第四讲 模型 等课程 学会MVC5基本使用

matlab神经网络30个案例分析

【目录】- MATLAB神经网络30个案例分析(开发实例系列图书) 第1章 BP神经网络的数据分类——语音特征信号分类1 本案例选取了民歌、古筝、摇滚和流行四类不同音乐，用BP神经网络实现对这四类音乐的有效分类。 第2章 BP神经网络的非线性系统建模——非线性函数拟合11 本章拟合的非线性函数为y=x21+x22。 第3章 遗传算法优化BP神经网络——非线性函数拟合21 根据遗传算法和BP神经网络理论，在MATLAB软件中编程实现基于遗传算法优化的BP神经网络非线性系统拟合算法。 第4章 神经网络遗传算法函数极值寻优——非线性函数极值寻优36 对于未知的非线性函数，仅通过函数的输入输出数据难以准确寻找函数极值。这类问题可以通过神经网络结合遗传算法求解，利用神经网络的非线性拟合能力和遗传算法的非线性寻优能力寻找函数极值。 第5章 基于BP_Adaboost的强分类器设计——公司财务预警建模45 BP_Adaboost模型即把BP神经网络作为弱分类器，反复训练BP神经网络预测样本输出，通过Adaboost算法得到多个BP神经网络弱分类器组成的强分类器。 第6章 PID神经元网络解耦控制算法——多变量系统控制54 根据PID神经元网络控制器原理，在MATLAB中编程实现PID神经元网络控制多变量耦合系统。 第7章 RBF网络的回归——非线性函数回归的实现65 本例用RBF网络拟合未知函数，预先设定一个非线性函数，如式y=20+x21-10cos（2πx1）+x22-10cos（2πx2）所示，假定函数解析式不清楚的情况下，随机产生x1,x2和由这两个变量按上式得出的y。将x1,x2作为RBF网络的输入数据，将y作为RBF网络的输出数据，分别建立近似和精确RBF网络进行回归分析，并评价网络拟合效果。 第8章 GRNN的数据预测——基于广义回归神经网络的货运量预测73 根据货运量影响因素的分析，分别取国内生产总值（GDP），工业总产值，铁路运输线路长度，复线里程比重，公路运输线路长度，等级公路比重，铁路货车数量和民用载货汽车数量8项指标因素作为网络输入，以货运总量，铁路货运量和公路货运量3项指标因素作为网络输出，构建GRNN，由于训练数据较少，采取交叉验证方法训练GRNN神经网络，并用循环找出最佳的SPREAD。 第9章 离散Hopfield神经网络的联想记忆——数字识别81 根据Hopfield神经网络相关知识，设计一个具有联想记忆功能的离散型Hopfield神经网络。要求该网络可以正确地识别0~9这10个数字，当数字被一定的噪声干扰后，仍具有较好的识别效果。 第10章 离散Hopfield神经网络的分类——高校科研能力评价90 某机构对20所高校的科研能力进行了调研和评价，试根据调研结果中较为重要的11个评价指标的数据，并结合离散Hopfield神经网络的联想记忆能力，建立离散Hopfield高校科研能力评价模型。 第11章 连续Hopfield神经网络的优化——旅行商问题优化计算100 现对于一个城市数量为10的TSP问题，要求设计一个可以对其进行组合优化的连续型Hopfield神经网络模型，利用该模型可以快速地找到最优（或近似最优）的一条路线。 第12章 SVM的数据分类预测——意大利葡萄酒种类识别112 将这178个样本的50%做为训练集,另50%做为测试集,用训练集对SVM进行训练可以得到分类模型,再用得到的模型对测试集进行类别标签预测。 第13章 SVM的参数优化——如何更好的提升分类器的性能122 本章要解决的问题就是仅仅利用训练集找到分类的最佳参数，不但能够高准确率的预测训练集而且要合理的预测测试集，使得测试集的分类准确率也维持在一个较高水平，即使得得到的SVM分类器的学习能力和推广能力保持一个平衡，避免过学习和欠学习状况发生。 第14章 SVM的回归预测分析——上证指数开盘指数预测133 对上证指数从1990.12.20-2009.08.19每日的开盘数进行回归分析。 第15章 SVM的信息粒化时序回归预测——上证指数开盘指数变化趋势和变化空间预测141 在这个案例里面我们将利用SVM对进行模糊信息粒化后的上证每日的开盘指数进行变化趋势和变化空间的预测。 若您对此书内容有任何疑问，可以凭在线交流卡登录中文论坛与作者交流。 第16章 自组织竞争网络在模式分类中的应用——患者癌症发病预测153 本案例中给出了一个含有60个个体基因表达水平的样本。每个样本中测量了114个基因特征，其中前20个样本是癌症病人的基因表达水平的样本(其中还可能有子类), 中间的20个样本是正常人的基因表达信息样本, 余下的20个样本是待检测的样本(未知它们是否正常)。以下将设法找出癌症与正常样本在基因表达水平上的区别，建立竞争网络模型去预测待检测样本是癌症还是正常样本。 第17章SOM神经网络的数据分类——柴油机故障诊断159 本案例中给出了一个含有8个故障样本的数据集。每个故障样本中有8个特征，分别是前面提及过的：最大压力(P1)、次最大压力(P2)、波形幅度(P3)、上升沿宽度(P4)、波形宽度(P5)、最大余波的宽度(P6)、波形的面积(P7)、起喷压力(P8)，使用SOM网络进行故障诊断。 第18章Elman神经网络的数据预测——电力负荷预测模型研究170 根据负荷的历史数据，选定反馈神经网络的输入、输出节点，来反映电力系统负荷运行的内在规律，从而达到预测未来时段负荷的目的。 第19章 概率神经网络的分类预测——基于PNN的变压器故障诊断176 本案例在对油中溶解气体分析法进行深入分析后，以改良三比值法为基础，建立基于概率神经网络的故障诊断模型。 第20章 神经网络变量筛选——基于BP的神经网络变量筛选183 本例将结合BP神经网络应用平均影响值（MIV，Mean Impact Value）方法来说明如何使用神经网络来筛选变量，找到对结果有较大影响的输入项，继而实现使用神经网络进行变量筛选。 第21章 LVQ神经网络的分类——乳腺肿瘤诊断188 威斯康星大学医学院经过多年的收集和整理，建立了一个乳腺肿瘤病灶组织的细胞核显微图像数据库。数据库中包含了细胞核图像的10个量化特征（细胞核半径、质地、周长、面积、光滑性、紧密度、凹陷度、凹陷点数、对称度、断裂度），这些特征与肿瘤的性质有密切的关系。因此，需要建立一个确定的模型来描述数据库中各个量化特征与肿瘤性质的关系，从而可以根据细胞核显微图像的量化特征诊断乳腺肿瘤是良性还是恶性。 第22章 LVQ神经网络的预测——人脸朝向识别198 现采集到一组人脸朝向不同角度时的图像，图像来自不同的10个人，每人5幅图像，人脸的朝向分别为：左方、左前方、前方、右前方和右方。试创建一个LVQ神经网络，对任意给出的人脸图像进行朝向预测和识别。 第23章 小波神经网络的时间序列预测——短时交通流量预测208 根据小波神经网络原理在MATLAB环境中编程实现基于小波神经网络的短时交通流量预测。 第24章 模糊神经网络的预测算法——嘉陵江水质评价218 根据模糊神经网络原理，在MATLAB中编程实现基于模糊神经网络的水质评价算法。 第25章 广义神经网络的聚类算法——网络入侵聚类229 模糊聚类虽然能够对数据聚类挖掘，但是由于网络入侵特征数据维数较多，不同入侵类别间的数据差别较小，不少入侵模式不能被准确分类。本案例采用结合模糊聚类和广义神经网络回归的聚类算法对入侵数据进行分类。 第26章 粒子群优化算法的寻优算法——非线性函数极值寻优236 根据PSO算法原理，在MATLAB中编程实现基于PSO算法的函数极值寻优算法。 第27章 遗传算法优化计算——建模自变量降维243 在第21章中，建立模型时选用的每个样本（即病例）数据包括10个量化特征（细胞核半径、质地、周长、面积、光滑性、紧密度、凹陷度、凹陷点数、对称度、断裂度）的平均值、10个量化特征的标准差和10个量化特征的最坏值（各特征的3个最大数据的平均值）共30个数据。明显，这30个输入自变量相互之间存在一定的关系，并非相互独立的，因此，为了缩短建模时间、提高建模精度，有必要将30个输入自变量中起主要影响因素的自变量筛选出来参与最终的建模。 第28章 基于灰色神经网络的预测算法研究——订单需求预测258 根据灰色神经网络原理，在MATLAB中编程实现基于灰色神经网络的订单需求预测。 第29章 基于Kohonen网络的聚类算法——网络入侵聚类268 根据Kohonen网络原理，在MATLAB软件中编程实现基于Kohonen网络的网络入侵分类算法。 第30章 神经网络GUI的实现——基于GUI的神经网络拟合、模式识别、聚类277 为了便于使用MATLAB编程的新用户，快速地利用神经网络解决实际问题，MATLAB提供了一个基于神经网络工具箱的图形用户界面。考虑到图形用户界面带来的方便和神经网络在数据拟合、模式识别、聚类各个领域的应用，MATLAB R2009a提供了三种神经网络拟合工具箱（拟合工具箱/模式识别工具箱/聚类工具箱）。

VSCode launch.json配置详细教程

主要介绍了vscode 的node.js debugger 的 launch.json 配置详情,本文通过实例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下

从零基础开始用Python处理Excel数据.pdf

首先学习Python的基础知识，然后使用Python来控制Excel，做数据处理。 Excel使用者、Python爱好者、数据处理人员、办公人员等 第1章 python基础 1.1 什么是python？ 1.2 为什么要学习用Python处理Excel表格？ 1.3 手把手教你安装python程序 1.3.1 下载python 1.3.2 安装python 1.3.3 验证是否安装成功 1.4 安装Python集成开发工具PyCharm 1.4.1 下载 1.4.2 安装 1.5 Python的输入与输出

相关热词 c# 调用exe返回值 c# 交互网站开发 c#串口协议解析 c#list 分页 c#日志记录 c#关键字 yield c# 实现ioc c#基于事件的多线程 c# tar 解压 c#延时1秒