大数据信息挖掘，用数据感知未来？

英特尔-x86安卓开发 2013-10-11 02:35:50

我们坐拥大数据金矿，如何来挖掘分析，用真实数据来感知预测外来，为企业知名发展方向？说说您对大数据的理解，大数据的应用价值，和我们一起来一场大数据的头脑风暴吧~
参与IBM软件技术峰会热点主题讨论，丰富奖励等你拿！
2013 IBM软件技术峰会

...全文

6960 62 打赏收藏转发到动态举报

写回复

用AI写文章

62 条回复

切换为时间正序

请发表友善的回复…

发表回复

longmail1989 2014-03-12

打赏
举报

大数据可以分析用户消费产品的行为，对未来开发产品做规划。

chgdfsJurnZhou 2013-12-16

打赏
举报

以前你的上网行为，很难分析。之后就容易了。上网就危险了。

浪哥668 2013-12-04

打赏
举报

掌握技术，书写未来

mijiu11111 2013-12-04

打赏
举报

大数据的挖掘很有研究价值

燕儿_飘飘 2013-12-03

打赏
举报

网络时代大数据，不可避免

Echo_WU88 2013-12-03

打赏
举报

看了《大数据的冲击》感觉了解多了点了

西蒙佩特斯 2013-12-03

打赏
举报

大数据就像宇宙的星星，可以很具体，也可以很模糊。

徐宏亮 2013-12-02

打赏
举报

我也不太了解这个东西，所以我就不回答了

王明琦 2013-11-29

打赏
举报

愿做JavaEE大虾 2013-11-27

打赏
举报

Welcome the upcoming of an era of Big Data

鲁邦 2013-11-23

打赏
举报

大数据使的在计算机面前再也没有什么隐私了，再也不会有网络开始阶段“没有人知道你是一只狗”的那种情况了。

nudt_yzj 2013-11-22

打赏
举报

大数据，挖掘社交网络用户行为数据，并进行推荐

zhuhuaipiing88 2013-11-22

打赏
举报

大数据将成为未来发挥主要作用的手段和技术，期待学习。

他山之石33 2013-11-22

打赏
举报

大数据，改变我们的生活

hp520540 2013-11-20

打赏
举报

看来大数据已经成趋势了，大家都在用

道昀哥 2013-11-19

打赏
举报

大数据时代令隐私保护问题日渐严重

zeyuan2008 2013-11-15

打赏
举报

每个公司都有他所想要的数据，提前了解这些信息，如何预处理～，我更关心于如何准确定位～加油！

wangyuhua1029 2013-11-05

打赏
举报

打个酱油

wgd123pl 2013-11-05

打赏
举报

BIG DATA 到底是什么情况，为何没有人提供相关的资源，让菜鸟们也感受下这个新BIG DATA的神处。这个名字听起好像很符和当前发展的须求。请教前辈们你们对大数据理性认识、看法是：要是发自内的心、要说老实话。

2011210795 2013-11-05

打赏
举报

大数据让人认识到自己都不了解的一面。。。

从威胁开始...... 我们面对的是什么安全威胁的多样性与指向性威胁感知的拼图拼图究竟什么是我们要的拼图业务流程就是将不同的“线索”拼成“全貌“ 威胁感知的过程是本质是完成拼图威胁感知的误区技术思路的变化威胁感知的第一个难点威胁感知的第二个难点空间换时间案例:XCodeGhost背后链条的发现 大数据应用于威胁感知 1.真正拥有数据怎么拥有自己的数据? 什么是安全数据? 2.学会处理数据避免数据处理的一些误区 3.懂得挖掘数据例:采用大数据针对DDoS攻击监测与溯源例:采用机器学习进行未知恶意软件发现例:采用深度学习进行未知流量识别例:威胁情报是数据挖掘的结果 4.交互分析数据可视化不是展示,而是数据分析工具寻找数据之间的关系可视化呈现数据之间的关联多维度关联分析更多维度的关联分析小结 大数据应用于威胁感知的关键技术能力

1.机器学习理论基础 2.Spark 下的机器学习平台介绍...模型选择与优化 4.Hello Spark Mllib 5.Spark Mllib 实现推荐系统 6.Spark Mllib 之聚类 7.Spark Mllib 之分类 8.Spark Mllib 之回归 9.Spark Mllib 之关联规则挖掘

大数据论文3000字篇一：大数据时代的机遇与挑战论文3000字 大数据时代的机遇与挑战什么是大数据时代？ "大数据"在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。最早提出"大数据"时代到来的是全球知名咨询公司麦肯锡，麦肯锡称："数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。" 大数据时代是怎样产生的？物联网、云计算、社交网络、社会媒体以及信息获取技术的飞速发展，数据正以前所未有的速度迅速增长和积累，数据是人类社会最重要的财富大数据时代的到来 大数据时代的特点? 1.数据量大（Volume）第一个特征是数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或 Z（10亿个T）。 2.类型繁多（Variety）第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。 3.价值密度低（Value）第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值"提纯" ，是大数据时代亟待解决的难题。 4.速度快、时效高（Velocity）第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说， 大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。 大数据时代的机遇 大数据技术通过对海量数据的快速收集与挖掘、及时研判与共享，成为支持社会治理科学决策和准确预判的有力手段，为社会转型期的社会治理创新带来了机遇。建立大数据 中心，及时搜集、实时处理数据信息，为科学决策提供坚实基础。对社会大数据进行历时性和实时性分析，加强社会风险控制，提高政府预测预警能力和应急响应能力。在大数据概念出来之前，个人制造的数据往往被忽略，企业数据被谈及的更多。企业内部的数据多数都是结构性数据，并被企业在或多或少地利用着，无论是数据挖掘还是商业智能化应用都已经初露端倪。随着互联网的快速发展，在企业数据还没有井喷的时候，我们就发现个人用户以及社会应用产生的数据已经开始爆发了，比如社交、交互式应用带来了大量的网络数据。此时传统的硬件设备开始显得捉襟见肘，无法满足这种庞杂数据带来的应用需求。很多时候，也许我们会认为这些数据里会有价值，但是却不知道如何挖掘这些数据的内在价值，数据成为了堆砌。因此，对于数据精准分析的需求正在呼唤做数据分析的厂商们拿出下一步的举动。比如说，在淘宝庞大的用户群中，淘宝卖家如何精准掌握一个新用户的需求？一家饭馆如何利用细节满足每一个食客对于美味的需求？越来越多的应用需求推动着大数据的发展。更主要的是，未来可能各种传感器会出现在社会的各个地方，数据会更多，比如交通、医疗等等，数据的采集已经不是问题，难点已经转换为处理和分析。如此巨量的数据，处理难度可想而知。大数据给中国市场带来什么？ 大数据应用需求在中国更加明显。中国人口众多，各行各业都呈现出极快的增长速度，电商、快递、微博、社交等都承载了大量的个人信息；大型超市、卖场、商场、银行等集聚了大量交易信息，日新月异的城市建设中，连接着更多数据采集传感器和嵌入式设备的物联网开始成型?? 如何应对机遇与挑战 大数据时代，人们能做些什么？ 大数据产生和存在于各行各业，尽管分析和处理困难，但也可以通过相关性的技术手段对大数据进行统计分析，应用其结果。例如：在教育领域使用大数据来分析学生的个性和爱好，真正做到因材施教，提高教学质量；在企业管理领域应用大数据分析，真正将粗放型管理变为精细型管理，提高效率，节省开支，并应对公司在发展进程中带来的管理问题。在企业生产中应用大数据分析，优化各项生产、工作流程提高效率效益。在商业领域应用大数据分析商品销售热点和了解顾客即时需求。今后，在大数据技术领域的竞争将直接关系到国家安全和未来，国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力。美国已率先将大数据应用从商业行为上升到国家意志：20xx 年 3 月 29 日，美国奥巴马政府投资 2 亿美元启动"大数据研究与开发计划"，提出"通过收集、处理庞大而复杂的数据信息，从中获得知识和洞见，提升能力，加快科学、工程领域的创新步伐，强化美国国土安全

大数据、小数据与全数据作者：何希来源：《科海故事博览·下旬刊》2019年第01期 大数据浪潮下，一些企业转而将目光投向了傳统的小数据，并据此改善了相关产品。比如，相较于以往，现在的罐头和汽水瓶的盖子更容易打开，车门可以不费力地关上，而抽屉的开合也设计得更加顺滑。这缘于企业对一个细节的敏锐捕捉：随着科技发展导致的体力劳动减少、电脑和触摸屏导致的书写退化，人们的双手没有以前有力了。类似的小数据、小趋势，正在和大数据一起改变着我们的生活。 大数据的产生，简化了人们对世界的认知。通过将人的行为转化成无数个可以量化的数据节点，从而为人提供了一个"数据画像"。然而，目前的一些大数据应用还停留在标签化的层面，忽略了个体的差异，容易导致千人一面的结果。如果说大数据关注的是总体和大致规律，那么小数据关注的则是个体和细腻的事实。和大数据相比，小数据的价值在于它来源于各类社会行为的细节，更贴近人们的个体感受，对需求的呈现也更精准。比如，按照大数据画像，婴儿尿布可能会和奶粉、玩具等商品相关联，啤酒的消费者可能会同时选购花生米、薯片等零食。而国外一家零售商依据小数据的分析显示，男性顾客在购买婴儿尿片时，常会顺便搭配几瓶啤酒来犒劳自己，于是尝试推出了将啤酒和尿布摆在一起的促销手段，竟然取得了成功。不论是大数据还是小数据，最重要的是对数据的分析。举一个古代的例子，在马陵之战中，庞涓善于数据分析，而孙膑通过编造"使齐军入魏地为十万灶，明日为五万灶，又明日为三万灶"的数据，反其道而用之，对庞涓实施诱杀。这就是庞涓惯用"灶"的 大数据，而忽视对脚印等小数据的分析而导致的。要达成对事物的更深入理解，就需要把大数据思维和小数据细节相结合。关于未来趋势，有专家预言，在不久的将来，大数据、小数据的界限或将被消除，取而代之的是"全数据"或全量数据，也就是所有数据。比如，未来在智能交通领域，将有可能用全量实时的数据来感知城市每辆车所在的具体位置以及每个红绿灯路口的车辆信息，并对这些情况进行全局调控，从而大幅提升城市交通的运营效率。而实现这一目的，离不开对数据的挖掘和分析以及人工智能的深度学习。英国数学家托马斯·克伦普在《数字人类学》一书中指出，数据的本质是人，分析数据就是在分析人类族群自身。数据产生于人类社会的各种活动，其价值也在于服务人类社会，让生活变得更加美好。对公共部门和企业来说，在确保数据安全的前提下，将数据转化为服务和产品，才能更加准确地对接人们的需求和期待，从而让数据更好地服务人类社会，不断提升人们的幸福感。 ----------------------- 大数据、小数据与全数据全文共2页，当前为第1页。 大数据、小数据与全数据全文共2页，当前为第2页。

Hadoop生态社区

20,808

社区成员

4,690

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章