3.3.竞争的关键是生态而非技术

朱有鹏老师 2023-01-12 15:07:33

课时名称课时知识点
3.3.竞争的关键是生态而非技术本节讲解操作系统竞争的关键在于附着的上下游生态，而不是操作系统本身的技术门槛。
...全文
58 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
3D可视化智能工厂方案建议书.docx
3D可视化智能工厂方案建议书.docx
Hadoop硬实战 [（美）霍姆斯著][电子工业出版社][2015.01]_PDF电子书下载 带书签目录 高清完整版.rar )
前言 致谢 关于本书 第1 部分　背景和基本原理 1　跳跃中的Hadoop 1．1　什么是Hadoop 1．1．1　Hadoop 的核心组件 1．1．2　Hadoop 生态圈 1．1．3　物理架构 1．1．4　谁在使用Hadoop 1．1．5　Hadoop 的局限性 1．2　运行Hadoop 1．2．1　下载并安装Hadoop 1．2．2　Hadoop 的配置 1．2．3　CLI 基本命令 1．2．4　运行MapReduce 作业 1．3　本章小结 第2 部分　数据逻辑． 2　将数据导入导出Hadoop． 2．1　导入导出的关键要素 2．2　将数据导入Hadoop ． 2．2．1　将日志文件导入Hadoop 技术点1　使用Flume 将系统日志文件导入HDFS 2．2．2　导入导出半结构化和二进制文件 技术点2　自动复制文件到HDFS 的机制 技术点3　使用Oozie 定期执行数据导入活动 2．2．3　从数据库中拉数据 技术点4　使用MapReduce 将数据导入数据库 技术点5　使用Sqoop 从MySQL 导入数据 2．2．4　HBase 技术点6　HBase 导入HDFS 技术点7　将HBase 作为MapReduce 的数据源 2．3　将数据导出Hadoop 2．3．1　将数据导入本地文件系统 技术点8　自动复制HDFS 中的文件 2．3．2　数据库 技术点9　使用Sqoop 将数据导入MySQL 2．3．3　Hbase 技术点10　将数据从HDFS 导入HBase 技术点11　使用HBase 作为MapReduce 的数据接收器 2．4　本章小结 3　数据序列化――处理文本文件及其他格式的文件 3．1　了解MapReduce 中的输入和输出 3．1．1　数据输入 3．1．2　数据输出 3．2　处理常见的序列化格式 3．2．1　XML ． 技术点12　MapReduce 和XML 3．2．2　JSON ． 技术点13　MapReduce 和JSON ． 3．3　大数据的序列化格式 3．3．1　比较SequenceFiles、Protocol Buffers、Thrift 和 Avro 3．3．2　Sequence File 技术点14　处理SequenceFile 3．3．3　Protocol Buffers 技术点15　整合Protocol Buffers 和MapReduce ． 3．3．4　Thrift ． 技术点16　使用Thrift 3．3．5　Avro 技术点17　MapReduce 的下一代数据序列化技术 3．4　自定义文件格式 3．4．1　输入输出格式 技术点18　输入和输出格式为CSV 的文件 3．4．2　output committing 的重要性 3．5　本章小结 第3 部分　大数据模式 4　处理大数据的MapReduce 模式 4．1　Join 4．1．1　Repartition Join 技术点19　优化repartition join 4．1．2　Replicated Join 4．1．3　Semi-join 技术点20　实现semi-join 4．1．4　为你的数据挑选最优的合并策略 4．2　排序 4．2．1　二次排序 技术点21　二次排序的实现 4．2．2　整体并行排序 技术点22　通过多个reducer 对key 进行排序 4．3　抽样 技术点23　蓄水池抽样（reservoir 抽样） 4．4　本章小结 5　优化HDFS 处理大数据的技术 5．1　处理小文件 技术点24　使用Avro 存储大量小文件 5．2　通过压缩提高数据存储效率 技术点25　选择合适的压缩解码器 技术点26　在HDFS、MapReduce、Pig 和Hive 中使用数据压缩 技术点27　在MapReduce、Hive 和Pig 中处理可分割的LZOP 5．3　本章小结 6　诊断和优化性能问题 6．1　衡量MapReduce 和你的环境 6．1．1　提取作业统计信息的工具 6．1．2　监控 6．2　确定性能问题的原因 6．2．1　了解哪些因素会影响MapReduce 作业的性能 6．2．2　map 端异常 技术点28　发现输入数据中的坑 技术点29　确定map 端数据倾斜问题 技术点30　判定map 任务吞吐量 技术点31　小文件 技术点32　不可切割的文件 6．2．3　reduce 端问题 技术点33　reducer 任务数过大或过小 ． 技术点34　定位reduce 端数据倾斜问题 技术点35　确定reduce 任务是否存在整体吞吐量过低 技术点36　缓慢的洗牌（shuffle）和排序 ． 6．2．4　任务的一般性能问题 技术点37　作业竞争和调度器限制 技术点
获取系统信息-3.3.linux应用编程和网络编程第3部分
本课程主要讲解了一些获取linux系统信息的函数，譬如获取时间相关的函数群，获取伪随机数序列的函数群和proc文件系统，目标是让大家学习相应的API和库函数，将来在项目中能够熟练应用之。
大数据平台架构.pdf
。。。
朱有鹏的课程社区_NO_15

1

社区成员

121

社区内容

发帖
与我相关
我的任务
社区描述
朱有鹏，先后从事电子工程师、单片机软件工程师、嵌入式linux软件工程师、物联网软件工程师、架构师等工作，朱老师物联网大讲堂创始人，畅销书作者。擅长U-Boot、linux kernel等嵌入式底层和系统层开发、架构设计。擅长汇编、C/C++、Java、C#等常用开发语言，2015年起录制的在线视频课程《朱有鹏老师嵌入式linux核心课程》累计学习人数超300万。2016年与IBM合作制作基于IBM Waston平台的物联网系统开发教程，授予“IBM技术专家”。2018年开始与华为认证合作，开发HCDP-IoT相关的课程体系、视频课程、实验平台、案例等，被授予“华为云享专家”。
社区管理员
  • 朱有鹏老师
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章