-
等级
本版专家分：0结帖率 0% -
大家好，这里是我的留言板，如果有问题，欢迎大家留言，我会第一时间进行回复展开阅读全文
- 史上最详细的Hadoop环境搭建
GitChat 作者：鸣宇淳 原文： 史上最详细的Hadoop环境搭建 关注公众号：GitChat 技术杂谈，一本正经的讲技术 【不要错过文末活动哦】前言Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对...
- GitChat·大数据 | 史上最详细的Hadoop环境搭建
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也...
- SSH远程登录和SSH免密码登录
SSH是一种通讯协议，可以实现远程安全登录。可以通过如putty、MobaXterm等工具通过ssh安全...如bigdata3登录到bigdata4： 2、服务器接收到请求后，将自己的主机的公钥发送给客户端，公钥用于加密 3、客户端将...
- Pentaho Work with Big Data（一）—— Kettle连接Hadoop集群
准备研究一下Pentaho的产品如何同Hadoop协同工作。从简单的开始，今天实验了一下Kettle连接Hadoop集群。 实验目的： 配置Kettle连接Hadoop集群的HDFS。 ...4台CentOS release 6.4虚拟机，IP地址为 ...
- 大数运算（加减乘除）
大数运算的实现方法主要有以下几种： 1) 用字符串表示大数。将大数用十进制字符数组表示，然后按照“竖式计算”的思想进行计算。这种方法比较容易理解，但是计算效率比较低。 2) 将大数看成二进制流进行处理。...
- 【云星数据---mesos实战系列002】：mesos全分布式部署实战001--机器准备
零、集群规划 我们打算在如下机器上部署mesos，需要保障集群中的机器能访问外网。... bigdata03 master bigdata04 slave bigdata05 slave 一、修改机器信息 0.关闭selinux sed -i '/SELINUX/s/enforcing/disab
- 基于element-ui的vue大数据表格el-bigdata-table组件打成压缩包引入传统项目时的问题
问题背景： 前段时间，项目中的一些功能需要查看大量的业务数据且不分页造成页面table在数据量千条级别时页面就已经快卡死了。时不时的就会内存溢出了。于是就要优化。 在看解决方案的时候，DMap的解决方案映入了...
- linux配置ftp用户到指定目录vsftpdd
被限制路径为/bigdata/DataFrom400/tuoMin。用户登录后的根目录为root下的/bigdata/DataFrom400/tuoMin。 1、环境：ftp为vsftp。没有要先安装vsftpd。自行百度。 2、新建用户：在root用户下： useradd -d /big...
- mongoDB4.2.8备份恢复与导出导入
备份 数据备份就是要保存数据的完整性...mongodump -h localhost:27017 -d dmp_phone -o /bigdata/mongodb-4.2.8/mongodump -h：MongDB所在服务器地址，例如：127.0.0.1，当然也可以指定端口号：127.0.0.1:27017 -d：
- kafka在windows上的安装、运行
1.简介 Kafka是一种高吞吐量的分布式发布订阅消息系统。详细介绍可查阅官网：kafka官网 2.环境搭建 2.1 安装JDK 下载地址：jre下载 有关jdk的安装不再赘述。 2.2 安装Zookeeper ... 下载后，解压
- sqoop导出hive数据到mysql错误： Can't parse input data java.util.NoSuchElementException解决办法
sqoop导出hive数据到mysql错误： Can't parse input data java.util.NoSuchElementException解决办法
- JS中使用"data-"开头的属性及data()方法实现自定义属性
data-toggle 这种以 data- 开头的格式放在元素上表示元素携带的数据，如： 1 img id="img" src="small.jpg" data-bigimg="big.jpg" /> JQuery的 data() 方法可以直接操作，如： 1 2 ...
- facebook presto安装与配置 CDH4.4
presto http://www.dw4e.com/?p=141 http://blog.csdn.net/u012417026/article/details/14516631 conf hadoop@yard02:~/bigdata/presto-server-0.52/$ tar zxvf presto-server-0.52.tar.gz hadoop@yard02:~/bi
- 【研究方向】Knowledge acquisition big picture
Knowledge acquisition big picture more data distant supervision (data denoise) Few shot relation extraction(解决数据分布不平衡的问题，label标注是不足的，加上few-shot本身是一个重要的机器学习问题) ...
- Big Data with MATLAB
How to work with huge and fast data sets ...Big data refers to the dramatic increase in the amount and rate of data being created and made available for analysis. A primary driver of this trend is
- SQL Server 2008如何压缩日志(log)文件？
在SQL Server 2000/2005中可以快速压缩日志log文件，通过SQL,方法一： -- BigData为数据库名 DUMP TRANSACTION BigData WITH NO_LOG BACKUP LOG BigData WITH NO_LOG DBCC SHRINKDATABASE(BigData ) 执行以上...
- 【云星数据---mesos实战系列002】：mesos全分布式部署实战003--zookeeper全分布式部署准备
一、zookeeper部署的原因我们后续想通过zookeeper来实现mesos的master节点的HA(High Available) 因此必须安装zookeeper。当然zookeeper在大数据生态圈中作用广泛。像Hadoop， Hbase,spark,kafka,flink等分布式系统都...
- ssh 免密登录配置后还是无效
ssh 免密登录配置后还是无效配置ssh登录[hadoop@bigdata1~]$ mkdir .ssh [hadoop@bigdata1~]$ ssh-keygen -t rsa //执行命令一路回车，生成秘钥 [hadoop@bigdata1~]$cd .ssh [hadoop@bigdata1.ssh]$ ls id_rsa id_...
- mybatis用法(三)mybatis保存CLOB类型到oracle数据库实例
1.背景 近期项目中遇到了用mybatis保存数据库CLOB类型到oracle库的操作,记录一下,方便以后查阅。 2.实例代码 2.1 表结构 --判断表是否存在，如果存在则删除 -- drop table WMS_IN_POOL; ...-- Create table ...
- nginx安装配置记录
环境cenos5.9 安装在192.168.119.131上进行.安装路径统一为/home/bigdata/ 1 安装之前需要先安装： 1.1 openssl 1.1.1 下载 ,cd /home/bigdata/ wget http://www.openssl.org/source/openssl-
- 关于Hadoop-HA的配置---从零开始
写在文前，可能我说的有不对的地方，希望各位老鸟批评指正，本着虚心接受的态度分享这篇文章！ 关于hadoop-ha大家配置的时候可能会遇到这样或者那样的报错，实在很让人头疼，因为操作有点多，也很多人不知道到底要...
- kettle链接hive的环境配置
1）首先将hive/lib目录的包导入到kettle目录D:\software\data-integration\plugins\pentaho-big-data-plugin\hadoop-configurations\cdh510\lib下（找到你安装的目录） 2）找到D:\software\data-integration\...
- 查看Hive表信息及占用空间的方法
一、Hive下查看数据表信息的方法 方法1：查看表的字段信息 desc table_name; 方法2：查看表的字段信息及元数据存储路径 ...desc extended table_name;...方法3：查看表的字段信息及元数据存储路径 ...
- CentOS7删除开机启动项中的多余内核
1、问题描述： 在CentOS升级后，在关机重启后，启动项会多出一条新的条目如下图所示：再确定新的内核不出现...uname -a[bigdata@bigdata ~]$ uname -a Linux bigdata 3.10.0-327.36.3.el7.x86_64 #1 SMP Mon Oct 2
- taildir
# Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 ...a1.sources.r1.positionFile = /bigdata/flume-1.6.0-cdh5.16.2/taildir_position.json a1.sources.r1.filegroups =.
- 部署Python3用于集群资源脚本调用
备注：在你使用的集群上都要做部署我这里默认bigdata241节点（检查节点上是否有git，没有的话yum下载） CentOS7 默认已经安装了Python2.7.5 [root@bigdata241~]# python --version Python 2.7.5 [root@bigdata...
- 【云星数据---大数据部集群署系列009】：alluxio全分布式部署方案
一、Alluxio软件包的下载与解压1.下载并分发alluxio1.官方网站 http://www.alluxio.org2.下载页面 http://www.alluxio.org/download3.下载地址 ...tar
- [C/C++标准库]_[初级]_[使用std::sort排序各种类型数据]
场景: 1. 在使用sort排序时，有时候需要对对象的某个值进行排序，比如对类对象的某个id的int类型值或者bool类型值,其实bool类型值排序研究了半天。。
- sql收缩数据库日志的几种办法
在SQL Server 2000/2005中可以快速压缩日志...DUMP TRANSACTION BigData WITH NO_LOG BACKUP LOG BigData WITH NO_LOG DBCC SHRINKDATABASE(BigData ) 执行以上语句可以快速压缩日志文件到1M。 但
- Qt程序设计进阶
Qt是一个1991年由奇趣科技开发的跨平台C++图形用户界面应用程序开发框架。它既可以开发GUI程序，也可用于开发非GUI程序，比如控制台工具和服务器。Qt是面向对象的框架，使用特殊的代码生成扩展（称为元对象编译器(Meta Object Compiler, moc)）以及一些宏，易于扩展，允许组件编程。 Linux环境图形用户界面应用程序开发，面向对象程序设计，Linux/Windows多平台图形应用开发，嵌入式设备图形界面开发。Qt绘图，事件机制，网络，数据库，嵌入式移植。