-
等级
本版专家分：0结帖率 0% -
精通一个是不是比单纯会一个好？比如我干ET了干了三年，和我干etl、Java都干一共干了三年，我感觉面试没啥区别啊展开阅读全文
- Kettle构建Hadoop ETL实践（一）：ETL与Kettle
一、ETL基础 1. 数据仓库架构中的ETL 2. 数据抽取 （1）逻辑抽取 （2）物理抽取 （3）变化数据捕获 3. 数据转换 4. 数据装载 5. 开发ETL系统的方法 二、ETL工具 1. ETL工具的产生 2. ETL工具的功能 （1...
- 综合统计多张表数据是用一个sql还是多个mapper好_细品数据倾斜（建议收藏）
点击关注上方“知了小巷”，...迈的过去，将会海阔天空！迈不过去，就要做好准备：很可能有几周甚至几月都要头疼于数据倾斜导致的各类诡异的问题。1.2 声明写的不对和不好的地方大家一起交流。有些例子不是特别严谨...
- 综合统计多张表数据是用一个sql还是多个mapper好_3万字细品数据倾斜（建议收藏）...
「点击上方蓝色，关注置顶我们」作者：迷路剑客链接：...四、数据倾斜的原理五、解决数据倾斜的思路六、MR解决数据倾斜的方法七、Hive解决数据倾斜的方法八、Spark解决数据倾斜的方法一、前言1.1...
- java web分布式部署_大型JavaWeb分布式系统中关于maven多模块构建以及代码依赖管理的疑问与痛点？...
Maven的打包，其实不是单纯的打包问题，更是一个微服务的架构问题。先把架构的问题解决了，再去看目录的情况。首先。Home和Service是必须要分开的两层。通常而言，都会有home,admin,Service三个基本的环节。先解释...
- Java桌面应用程序
java桌面应用印象因为桌面程序运行在宿主...因为java主要用于因特网编程和移动开发，如jsp， 而这些代码是运行在服务器端的，客户端（浏览器）只需要接收html代码即可， 不需要安装java虚拟机， 又因为java的跨平台
- java面试题2019（中国平安）
平安产险–ai部门 redis各种应⽤场景 a. 更多的数据结构； b.... c....d....e....f....g....h....a. RDB：快照形式是直接把内存中的数据保存到⼀个 dump ⽂件中，定时...（会丢数据） b. AOF：把所有的对Redis的服务器进⾏修改的命令都...
- 中国平安Java面试题
平安产险–ai部门 redis各种应⽤场景 a. 更多的数据结构； b.... c....d....e....f....g....h....a. RDB：快照形式是直接把内存中的数据保存到⼀个 dump ⽂件中，定时...（会丢数据） b. AOF：把所有的对Redis的服务器进⾏修改的命令都...
- Kettle构建Hadoop ETL实践（六）：数据转换与装载
一、数据清洗 1. 处理“脏数据” 2. 数据清洗原则 3. 数据清洗实例 （1）身份证号码格式检查 （2）去除重复数据 （3）建立标准数据对照表 二、Hive简介 1. Hive的体系结构 2. Hive的工作流程 3. Hive...
- java面试题平安产险（2019年）
平安产险–ai部门 redis各种应⽤场景 a. 更多的数据结构； b.... c....d....e....f....g....h....a. RDB：快照形式是直接把内存中的数据保存到⼀个 dump ⽂件中，定时...（会丢数据） b. AOF：把所有的对Redis的服务器进⾏修改的命令都...
- 2019年中国平安面试题（Java开发工程师）
平安产险–ai部门 redis各种应⽤场景 a. 更多的数据结构； b.... c....d....e....f....g....h....a. RDB：快照形式是直接把内存中的数据保存到⼀个 dump ⽂件中，定时...（会丢数据） b. AOF：把所有的对Redis的服务器进⾏修改的命令都...
- JAVA高级面试题——2019
Redis做持久化为什么会降低性能？ Redis哨兵机制？ RabbitMq如何做高可用？ RabbitMq死信队列原理，应用场景？ RabbitMq如何保证消费顺序？ RabbitMq如何解决消息丢失？重复消费？ Mybatis缓存怎么用？ Mysql如何做...
- Java中个人疑问点总结
简单声明，这一篇仅仅是个人的云笔记，简单记录了之前自己遇到的一些Java问题。希望看到这篇笔记的读者可以直接退出，记得很杂乱，Java连皮毛都没学到，不喜勿喷。 1 Maven 1.1 问题 1.1.1 什么是classpath ...
- Java 性能分析工具
Java 性能分析工具 , 第 1 部分: 操作系统工具 在解决程序性能问题之前，性能分析人员需要了解应用程序内部的运行状况以及应用运行环境的状况。本文将介绍使用操作系统中集成的程序监控工具将程序运行状况...
- Hive入门 准备用于ETL
它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 QL，它允许熟悉 SQL 的用户查询数据。...
- 阿里如何实现海量数据实时分析？
阿里妹导读：随着数据量的快速增长，越来越多的企业迎来业务数据化时代，数据成为了最重要的生产资料和业务升级依据。本文由阿里AnalyticDB团队出品，近万字长文，首次深度解读阿里在海量数据实时分析领域的多项核心...
- Java研发求职指南
不管是在考事业单位还是IT公司笔试招聘，都会对基本理论知识进行考察。最主要的就是数据结构、算法以及一些网络等知识。 1.1、 数据结构 二叉树、栈、队列、链表、哈希表、数组（以及在这些数据结构上的操作） 2.1、...
- 你的报表工具会做数据准备吗 ——报表开发中的深层次问题
但在实际报表开发中还是经常碰到一些非常棘手的深层次问题，即使是已经熟练使用报表工具的开发老手也会很挠头。 为什么有了报表工具还会出现这些问题呢？ 报表开发，看起来就是将数据按照指定格式的表格或图形呈现...
- 数据工程师必须掌握的7个大数据实战项目
作为一名电影爱好者，我阅片无数，有些片子还经常翻来覆去看个好几遍。小时候因为这事儿，没少被我妈抓耳朵，“看过的片子为啥还要倒二遍？”我也说不上来，就是单纯的爱看。 男人爱看的电影，以武侠，动作，科技为...
- 在大数据时代，我们缺乏的到底是思维还是能力？
似乎每件事都会有专门的目标性。 然而，工作久了，难免会“学会偷懒”，不再像从前哐哧哐哧就开始无想法的行动。 1.按部就班固化思维 在遇到采集数据异常排查问题时，W总是习惯于从文件系统拉取log日志进行查询，...
- spark内核解析和调优指南
Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。本文中阐述的原理基于 Spark 2.X ...
- Hive 的使用和配置、底层原理（第一部分）
大数据组件使用 总文章 Hive 的使用和配置、底层原理（第一部分） ... 创建数据库 实际是在hdfs文件系统中 /user/hive/warehouse目录下 创建一个文件夹“数据库名.db” 默认创建在 <name>hive.metast...
- -DBA数据库管理员 JAVA程序员架构师必看
一、数据库基础 1. 数据抽象：物理抽象、概念抽象、视图级抽象,内模式、模式、外模式 2. SQL 语言包括数据定义、数据操纵(Data Manipulation),数据控制(Data Control) 数据定义：Create Table,Alter Table,Drop ...
- 全面解读数据中台、数据仓库和数据湖
点击上方 "云祁QI"关注,星标或置顶一起成长如今，随着诸如互联网以及物联网等技术的不断发展，越来越多的数据被生产出来。据统计，每天大约有超过2.5亿亿字节的各种各样数据...
- 跨界搞大数据，到底从哪里开始？该怎么搞？
我发现这个话题应该是更需要被讨论的。如果说对于那些想要跨界进入大数据领域的朋友来说，不可否认，全面的培训是最快的方式，最少比自学来的快、更系统。但我一直对于大部分培训课程体系的设计不敢苟同，这是重点。...
- [数据仓库复习] 抽取-转换-装载
ETL一词，它是Extract、Transform、Load三个英文单词首字母的简写，中文意为抽取、转换、装载。ETL是建立数据仓库最重要的处理过程，也是最体现工作量的环节，一般会占到整个数据仓库项目工作量的一半以上。 抽取: ...
- TiDB 在知乎万亿量级业务数据下的实践和挑战
一、业务场景知乎从问答起步，在过去的 8 年中逐步成长为一个大规模的综合性知识内容平台，目前，知乎上有多达 3000 万个问题，共收获了超过 1.3 亿个回答，同时知乎还沉淀了数量众多的...
- 论一个糟糕的大数据码农的自我修养
幸福的家庭都是一样的，不幸的家庭各有各的不幸 - 如何成为一名糟糕的大数据平台开发工程师？
- 数据仓库工作总结（觉得有点意思）
文档条理不是很清楚，而且也有很多口水话，我不想搞成一个真正的官方文档，所以很随意，符合我的性格。很多问题我只是提出来了，解决方案没有想好，也不知道怎么落到文字，就先提出来备注吧。 文档原本想讨论的元...
- 一个大数据架构师应该掌握的技能
一：平台建设 1.行业平台 1）大平台 谷歌云 亚马逊云 阿里云 腾讯云 网易云 华为云 2）小平台 国云 国双 青云 勤思 3）专业工具平台 海致BDP 永洪 ...
- 毕业设计：基于Python的网络爬虫及数据处理（智联招聘）
基于Python的网络爬虫，爬虫目标网站为智联招聘，爬取内容为各职业的薪资、技能要求、工资地点等信息，爬取信息转换为散点图和柱状图，并加入了tkinter图形操作界面以增加毕业设计的工作量。 附带我的毕业论文、附带毕业论文、附带毕业论文，重要的事情说三遍。 这只是个简单得网络爬虫，大佬们无视就好，仅供大家参考，如果觉得可以请留言鼓励一下哈，有啥问题也可以留言，不定时查看。