- [Redis] Python 访问Redis
代码 import redis red = redis.Redis(host='192.168.1.8', port=6379, db=3, password='password') def red_conn(key): try: if red.exists(key): red_data = red.get(...
- [Hadoop] Hive 库表基本操作
Hive 创建数据库hive> create database if not exists db1; hive> create schema if not exists db2;删除数据库hive> drop database db2;... CREATE TABLE IF NOT EXISTS employee...
- [Python] Django学习笔记（1） - 模板的使用
加载模板加载静态模板文件[root@beaconvm02 vsftpd]# getsebool -a | grep ftp allow_ftpd_anon_write --> off allow_ftpd_full_access --> on allow_ftpd_use_cifs --> off ...
- 【Windows】win7免费升级win10
【背景】win7旗舰版，联网之后通过windows更新，更新win10时安装失败。故使用U盘下载win10，使用U盘引导安装。 【步骤】 下载win10下载工具，下载链接 根据需要，可以选择使用该工具升级本机，或者使用该用具创建...
- PyPDF2解析pdf文件提取内容插入数据库
Python3.X+PyPDF2解析指定文件夹下的pdf文件，提取文件内容并写入mysql数据库
- [Hadoop] CentOS7 安装flume-ng-1.6.0-cdh5.7.0
1. Flume Flume官方文档：http://flume.apache.org/FlumeUserGuide.html Flume官方文档(CDH指定版本)：... Flume是一个分布式的日志收集框架，针对日志数据进行采集汇总，把日志从A地方搬运到B地方去。 ...
- [Windows] win7 简体中文版/英文版 打开繁体中文文件/软件时乱码问题解决
win7简体中文版/英文系统，有时候在打开一些繁体中文的文件，包括某些繁体中文开发的应用软件时，繁体中文字乱码。解决办法：1 - 下载win7繁体中文包安装2 - 安装完成以后进入控制面板 -- 时钟、语言区域 -- 区域...
- rdd与mysql表 join_RDD中join 理解
JOIN在Spark Core中的使用1. inner joininner join，只返回左右都匹配上的// 启动spark-shell，定义两个rdd，做join操作[hadoop@hadoop01 ~]$ spark-shell --master local[2]scala> val a = sc.parallelize(Array...
- [Linux] shell脚本备份本地服务器的文件到远程服务器
遍历本地文件夹下的所有文件名，分别压缩后ftp传送到远程服务器上保存1 - 新建 backup.sh，写入脚本#!/bin/bash local_ip=$(ifconfig | grep "inet addr" | grep -v 127.0.0.1 | awk '{print $2}' | awk ...
- [Linux] shell脚本中用指定用户运行程序
su - user -c program其中，user为指定用户，program为要执行的程序例如：启动cassandra不指定用户：nohup -c "$CASSANDRA_DIR/bin/cassandra" >> $CASSANDRA_DIR/logs/system.log 2&...
- [Python] windows上python上传文件到linux服务器指定路径
import paramiko import datetime import os hostname='10.xxx.xxx.xx' username='username' password='***' port=22 def upload(local_dir,remote_dir): try: t=paramiko.Transport((ho
- [CDH] CDH5集成Spark2.2后spark-shell启动报错解决
CDH5已集成Spark2.2，spark-shell启动报错： [root@hadoop01 bin]# ./spark2-shell Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream ...
- [Hadoop] Hive 外部表
创建数据库hive> CREATE DATABASE test; hive> USE test;创建表hive> CREATE EXTERNAL TABLE t1( > id INT, &... country STRING COMMENT 'country of origina...
- [LDAP] CentOS7 OpenLDAP主从架构部署
1. 系统环境 操作系统：CentOS7.3 OpenLDAP：2.4.44 PHPldapAdmin：v-1.2.3 Hostname IP Address Role ldap1 192.167.1.2 LDAP Server ldap2 192.168.1.3 ...2. 环境准备（两台主...
- 【MacOS】使用U盘离线安装macOS Catalina
背景：公司内网，Mac mini一台，已安装win7。需要用U盘离线重装macOS Catalina系统。 工具：一个大于8G的U盘、一台可以联网的苹果电脑 步骤： 1. 下载macOS Catalina镜像 找一台可以联网的苹果电脑，访问Apple ...
- [Java] 使用JDEA创建一个普通Java工程
1. IDEA创建一个普通的Java工程 IDEA -> File -> New Project -> Java 不使用模板 ...填入Project name（相当于IDEA的WorkStation）和Module Name（真正的Project名称） ...在src文件夹上面点右键，新建一个...
- [EtherCalc] CentOS7 安装EtherCalc
环境：CentOS7.4，已安装Redis-5.0.3。 需求：安装EtherCalc 安装步骤： 1. 安装nodejs sudo yum info epel-release sudo yum install epel-release （没有则安装） sudo yum -y install nodejs ...
- [MySQL] MySQL5.7主从同步故障ERROR 1594解决
问题： MySQL5.7互为主从架构，其中一台因为断电异常，开机之后报错ERROR：1594： mysql> show slave status \G *************************** 1.... Slave_IO_State: Waiting for master to se...
- [CRM] SugarCRM-6.5.26 安装中文语言包（CentOS7.4）
SugarCRM语言包安装： 1. 以管理员身份登入SugarCRM，点击最上面的“admin” 2. 找到Developer Tools下的Module Loader 3. 进入Module Loader，上传中文语言包，点击安装 ...
- [CRM] CentOS7.4 安装SugarCRM
官网：http://www.sugarcrm.com 社区：https://community.sugarcrm.com/sugarcrm 安装前准备： 1. 安装MySQL（MySQL-5.7） # 安装MySQL-5.7 [developer@vm software]$ wget ...
- [CDH] 记一次CDH5集成SPARK2时parcel激活报错“WARN:Parcel not distributed but have active state ...
背景：CM-5.13.1 + CDH-5.13.1 集成SPARK2.3.4（CDS-2.3.4）时parcels包激活hung住，集群中有一个节点一直是在激活中，不能完成激活，进退两难。 去社区找了资料，最后是调用了Clouder官方的deactivate接口把...
- [Cloudify] CentOS7安装Cloudify Manager
1. 安装前准备 根据Cloudify官方文档要求，装好环境所需的依赖。 2. 安装Cloudify Manager 2.1 安装Cloudify Manager [root@vm software]# wget ...
- [Linux] 192.168.1.0/22 和 192.168.1.0/24 ？
10.167.192.0/22 子网掩码是22位，即11111111.11111111.11111100.00000000 // 标红的是主机位 可用地址范围（剔除主机号全0或全1的地址后）： xxxxxxxx.xxxxxxxx.xxxxxx00.00000001 到 xxxxxxxx.xxxxxxxx.xxxxxx...
- [CDH5] CDH5集成SPARK2 parcel时激活失败回滚方法
背景：CM-5.13.1 + CDH-5.13.1 集成SPARK2.3.4（CDS-2.3.4）时parcels包激活hung住，进退两难。 Cloudera并没有在CM控制台开发Cancel或者回滚的入口，此时服务状态就是hung住页面无法操作。...
- [Cassandra] 记一次Cassandra集群中一个节点CPU满载问题排查过程
现象：Cassandra集群中一个节点CPU满载，Cassandra连接超时报错。该服务器CPU被Cassandra吃完。 排查过程： 1. top命令查看CPU占用最高的进程，确认为Cassandra [root@VM_centos ~]# top 20772 cassand+ 20 0 ...
- [Windows] Chrome和Firefox浏览器升级后崩溃问题解决
背景： Win7英文版本来安装好Chrome和Firefox，均能正常使用。电脑上也安装有IE，也正常。 然后升级了Firefox后，Firefox崩溃，连设置页面也打不开；重装Firefox、重启电脑都不能恢复正常； 再升级了Chrome，跟...
- [CDH] CDH5.13.1集成 Apache Spark2.3.4（CDS 2.3.4）
背景：已有CDH5.13.1，集成CDS 2.3.4(Apache Spark 2.3.4）。 1. 环境： 操作系统：CentOS7.3 CM：CM-5.13.1 CDH：CDH5.13.1 JDK：1.8.0_151 Scala：Scala 2.11.12 2. 集成步骤： ... CM...
- [Linux] CentOS7新增磁盘并设置成LVM
背景：CentOS7，已有磁盘sda。 需求：新增磁盘sdb和sdc，新建文件夹/data，并把新增的两个磁盘都设成逻辑卷，挂载到/data目录下。 1. sdb 分区 $ sudo fdisk /dev/sdb n // 新增分区 ...$ sudo...
- [LDAP] CentOS7安装OpenLDAP后启动报错解决
问题 CentOS7.3下yum在线安装的openldap-servers-2.4.44-20.el7.x86_64，安装配置完成后启动报错，报错日志： [root@openldap ~]# systemctl start slapd Job for slapd.service failed because the control ...
- [HAProxy] CentOS7安装HAProxy1.8.17后启动报错“cannot bind UNIX socket [/var/lib/haproxy/stats]”解决
问题： CentOS7.3安装HAProxy1.8.17后启动报错，日志 [root@ldap1 run]# systemctl start haproxy Job for haproxy.service failed because the control process exited with error code....systemctl status ...