海量数据分析与Redis大数据迁移【技术讨论】

Adela可爱多 2013-04-25 04:31:47

加精

http://huiyi.csdn.net/community/view/290
海量数据分析与Redis大数据迁移【技术讨论】

欢迎研发人员、产品经理、项目经理、网站分析从业者和爱好者、网站运营人员、网络营销人员等等感兴趣的人来参加！

一、大数据迁移redis实战经验
讲师：文承科
介绍：战斗在一线的程序猿，目前在飞信任小兵一枚，分享一点Redis实战经验，欢迎大家来吐槽。
内容：性能评估；容量评估；连接数；LRU过期策略；持久化评估以及容灾方案。
二、行业主题数据多维分析
讲师：群山
简介：稳健、高效的数据分发系统，无人值守无故障运行；ETL转换与加载系统，能够自动整理与维护数据应用；统一、严谨的数据应用监控系统，能够自动监控与捕捉数据应用异常，并定期发送数据应用监控报告；
内容：金融相关行业主题数据多维分析，定制的应用；
三、基于java客户端的分库分表技术
讲师：罗立树
简介：就职京东商城，曾在阿里巴巴等电子商务公司工作过，有大规模高并发网站架构经验，做过第三方方支付架构改造，电子商务服务化方面的工作，分布式应用。
内容：海量关系型数据处理，介绍分库分表的技术和解决方案，根据业务场景如何做分库分表的实施、实现细节和案例分析。
四、说说程序猿们的那些倒霉事儿
讲师：老陈
简介：作为一名懂心理学的程序猿，目前就职于天道国际教育集团，负责企业IT建设。
内容：未来是属于懂心理学的程序猿的，思维方式足够改变你的命运，情商能够影响你的人生。筒子们，跟老陈一起聊聊人生吧！
http://huiyi.csdn.net/community/view/290

...全文

2431 11 打赏收藏转发到动态举报

写回复

11 条回复

切换为时间正序

请发表友善的回复…

发表回复

山书生 2013-04-30

打赏
举报

回复

可惜，在北京~@

Gelopa 2013-04-29

打赏
举报

回复

恰好是周五啊，怎么去

iihero_ 2013-04-26

打赏
举报

回复

看起来不错哦。

sxwf2001 2013-04-26

打赏
举报

回复

好东西收藏起来

brook9231 2013-04-26

打赏
举报

回复

感谢楼主谢谢

u010288600 2013-04-26

打赏
举报

回复

感谢楼主谢谢

u010455446 2013-04-25

打赏
举报

回复

感谢LZ分享

clarkeQin 2013-04-25

打赏
举报

回复

(☆随缘☆) 2013-04-25

打赏
举报

回复

来学习，

⼤数据开源框架集锦 1 ⼤数据平台 Hadoop 离线数据的分布式存储和计算基础框架分布式存储HDFS 离线计算引擎MapReduce 资源调度Apache YARN CDH 基于稳定版Hadoop及相关项⽬最成型的发⾏版本, 成为企业部署最⼴泛的⼤数据系统可视化的UI界⾯中⽅便地管理配置和监控Hadoop以及其它所有相关组件简单来说将⼗⼏个hadoop开源项⽬集成在⼀起 HDP 基于hadoop⽣态系统开源组件构建的⼤数据分析平台 2 集群管理与监控 Cloudera Manager ⽤于部署和管理CDH集群的软件 Ambari Hadoop平台的管理软件，具备Hadoop组件的安装、管理、运维 3 ⽂件系统 HDFS 分布式⽂件系统 4 资源调度 YARN hadoop的资源管理和作业调度系统 5 协调框架 Zookeeper 分布式协调服务，解决分布式数据⼀致性⽅案实现诸如数据发布订阅、负载均衡、命名、集群管理 master节点管理分布式锁和分布式队列 6 数据存储 Hbase 分布式⾯向列的NoSQL开源数据库 Cassandra 分布式的混合NoSQL数据库，还有C++版本ScyllaDB MongDB ⾯向⽂档的开源分布式数据库 Redis 开源的⽀持⽹络，基于内存可持久化⽇志，key-value数据库，可⽤于数据库缓存消息中间件 Neo4j 开源⾼性能的NoSQL图形数据库 7 数据处理 MapReduce 分布式离线的计算框架批处理⽇渐被spark和flink取代 Spark 通⽤的⼀站式计算框架 SparkCore批处理 SparkSQL交互式处理 SparkStreaming流处理 Spark Graphx图计算 Spark MLlib机器学习 Flink 流处理和批处理分布式数据处理框架核⼼是⼀个流式的数据流执⾏引擎类似于Spark 批处理数据流处理交互处理图形处理和机器学习 Storm 分布式实时⼤数据处理系统毫秒级别的实时数据处理能⼒实时分析的领导者 8 数据查询分析 Hive 基于hadoop的数据仓库，结构化 SparkSQL 处理结构化数据的spark组件分布式的SQL查询引擎 Impala 实时交互SQL⼤数据查询引擎 Druid 实时⼤数据分析引擎 Elastic Search 分布式可扩展的实时搜索和分析引擎，基于Apache Lucene搜索引擎 9 数据收集 Flume 分布式海量⽇志采集、聚合和传输系统 Logstash 具有实时管道功能的开源数据收集引擎 10 数据交换 sqoop 数据迁移⼯具，⽤来在不同数据存储软件之间进⾏数据传输的开源软件 DataX 阿⾥巴巴开源的离线数据同步⼯具，⽤于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定⾼效的数据同步 11 消息系统 Pulsar 企业级分布式消息系统，有替代Kafka的趋势 Kafka 发布/订阅的消息系统，由Scala写成 RocketMQ 阿⾥巴巴分布式、队列模型的消息中间件 12 任务调度 Azkaban 批量⼯作流任务调度器，将所有正在运⾏的⼯作流的状态保存在其内存 Oozie 基于Hadoop的企业级⼯作流调度框架将所有正在运⾏的⼯作流的状态保存SQL数据库 Cloudeara贡献给Apache的顶级项⽬ 13 数据治理 Ranger Hadoop 平台上并提供操作、监控、管理综合数据安全的框架提供⼀个集中的管理机制，所有数据权限 Sentry Hadoop集群元数据和数据存储提供集中、细粒度的访问控制项⽬ 14 数据可视化 Kibana ⽤于和 Elasticsearch ⼀起使⽤的开源的分析与可视化平台 15 数据挖掘 Mahout 基于hadoop的机器学习和数据挖掘的⼀个分布式框架 Spark MLlib Spark的机器学习库 MADlib 基于SQL的数据库内置的可扩展的机器学习库 16 云平台技术 AWS S3 ⼀种对象存储服务，提供⾏业领先的可扩展性、数据可⽤性、安全性和性能存储和保护各种⽤例数据 GCP Google提供的⼀套云计算服务注册⼀个帐号，在分布在全球各地数⼗个google机房使⽤所有的基础架构服务

文章目录一.引入二.切片集群1.简介2.数据存储方案：scale up和scale out`纵向扩展横向扩展3.两种方式优缺点对比：4.从横向扩展转换为纵向扩展就需要解决一下问题：三.数据切片与实例的对应分布关系Redis Cluster 是切片集群的具体实现具体映射过程什么情况下不均分哈希槽位数量四.客户端如何定位数据？五.重定向机制MOVED与ASK不同点六.总结一.引入给出一个场景，要求使用Redis保存 5000 万个键值对，每个键值对大约是 512B，经计算一共需要花费约25G内存。通常我们想

本章节为大数据架构师课程的redis课程，大数据生态体系庞大，通过本章节redis的讲授，你可以轻松的掌握redis技术，掌握本节内容后可以为后续的大数据案例夯实基础，形成良好的大数据企业开发思维。这套redis绝对三脚猫功夫，真正用心打磨出来，帮助更多的大数据技术爱好者少走弯路。购买课程后加入qq群 831186576 （备注订单号后四位）

当下最简洁的大数据各种技术介绍与总结当下最简洁的大数据各种技术介绍与总结1.大数据的发展历史1.1 启蒙阶段：数据仓库的出现1.2 技术变革：Hadoop诞生1.3 数据商业化：数据湖系统1.4 数据工厂时代：大数据平台兴起1.5 数据价值时代：数据中台2.大数据的核心概念2.1 什么是大数据？2.2 什么是数据仓库？2.3 传统数据仓库 vs 新一代数据仓库3.大数据平台的通用架构3.1 数据传...

搭建分片集群主从和哨兵可以解决高可用、高并发读的问题。但是依然有两个问题没有解决：海量数据存储问题高并发写的问题使用分片集群可以解决上述问题，如图: 分片集群特征：集群中有多个master，每个master保存不同数据每个master都可以有多个slave节点 master之间通过ping监测彼此健康状态客户端请求可以访问集群任意节点，最终都会被转发到正确节点散列插槽插槽原理 Redis会把每一个master节点映射到0~16383共16384个插槽（hash slot）上，查看

954

社区成员

1,459

社区内容

发帖

与我相关

我的任务

sql数据库数据库架构技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章