duguyiren3476
- 浏览: 458657 次
- 性别:
- 来自: 北京
-
最新评论
-
zhangyou1010：
zhangyou1010 写道请教，我执行mount -t n ...
NFS挂载hdfs到本地 -
zhangyou1010：
请教，我执行mount -t nfs -o vers=3,pr ...
NFS挂载hdfs到本地 -
hengfengyiyingdong：
为什么我查出来的hbase数据都是base64编码的？ 我保存 ...
apache drill 0.8.0 单机/分布式安装测试 -
107x：
不错，谢谢！
Hive metastore三种存储方式 -
duguyiren3476：
确实不怎么快，httpfs的上传你可以理解为普通的httpup ...
hadoop2.5.2配置httpfs服务
文章列表
Phoenix设置时间戳
phonex-4.3 hbase-0.98.10
环境 phonex-4.3,hbase-0.98.10,hadoop-2.5.2 设置时间戳 使用hbase的TTL机制用来定时删除过期的数据记录,但是默认的是数据插入是的系统时间戳,显然不可以,需要手动设置时间戳,找了半天,官方文档上提到CurrentSCN 的描述,最终使用java客户端设置时间戳,代买如下:
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStat ...
eclipse远程连接hadoop进行开发测试
马克飞象 由于搭建hadoop环境在仿真系统，在本地远程连接hdfs和提交mapreduce的job任务精力了曲折，现整理如下：
hadoop环境 ：hadoop2.5.2 jdk1.7 eclipse_luno hadoop_eclipse插件2.6； wordcount代码如下：
package test;
import java.io.File;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apac ...
HBase 查看HFile内容
hbase 查看HFile hbase的数据文件最终存放的是HFile文件,即对MFile存储格式的封装修改,存储的为二进制格式内容,目前hbase提供的hbase org.apache.hadoop.hbase.io.hfile.HFile 工具类可以查看HFile文件内容,对排查region的分布情况有很大用途,以下为查询步骤:
定位HFile文件
[hadoop@rm ~]$ hadoop fs -ls /hbase/data/default/TEST/b91a1994accb6e4fc2515aadd74dfc7b/0
1 ...
HBase 多master
hbase master 多master
hbase HA hbase的hmaster不保存数据,而是起到region分裂,regionserver宕机后region的重新分配和有关表的DML操作,在hmaster宕机后只要不进行上述三种情况的操作,几乎不用考虑hmaster,先将多hmaster配置详细如下：
首先搭建单节点hmaster集群,保证集群运行状态良好,比如hmaster在主机A中, 但节点启动hbase集群;
将A中的hbase安装目录拷贝到备机B 的相应目录中;
修改B机器中的hbase-site.xml的hbase. ...
hadoop2.x jobhistoryserver 配置
hadoop
hadoop1.x之前的版本中可以开启50030端口,查看历史作业的运行日志,包括mr日志和自定义日志,但是hadoop2.x 是用MRv2(yarn)作为作业运行服务,代替50030端口的是一个jobhistory服务.jobhistory记录下已运行完的MapReduce作业信息并存放在指定的HDFS目录下，默认情况下是没有启动的，需要配置完后手工启动服务。
hadoop balancer
设置同步带宽
bin/hadoop dfsadmin -setBalancerBandwidth 1073741824
起参单位为字节,1073741824byte=1G
启动balancer进程
bin/hadoop balancer -threshold 10
或者
hadoop second namenode异常 Inconsistent checkpoint fields
java.io.IOException: Inconsistent checkpoint fields.
LV = -47 namespaceID = 524164388 cTime = 0 ; clusterId = CID-5c38c719-cc2c-47d9-a44b-d231b2de0375 ; blockpoolId = BP-623213881-xx.xx.xxx.115-1387942327732.
Expecting respectively: -4 ...
ubuntu14.04安装QQ
把电脑安装成了ubuntu14.04版本后，发现根本脱离不开QQ，安装了好几次QQ都没有成功，就只能用webQQ聊天，恶心的不行啊，时不时的登陆不上，一怒之下，再次安装QQ。
下载tmQQ：
下载地址：http://www.longene.org/download/
我下载的是：
http://www.longene.org/download/WineTM2009-20120719-Longene.deb
这个版本
安装qq：直接双节deb文件即可，当然前提是你系统中安装了wine库
如果没有wine，则安装：
apt-get updat ...
ubuntu安装navicat及常见问题解决
1.安装navicat
Step1: 下载Navicat ，网址：http://www.navicat.com/en/download/download.html
Step2：进入下载目录，解压压缩包：tar -zxvf navicat11_mysql_en.tar.gz
Step3：打开解压后的目录，会看到 start_navicat文件 运行他就可以了
命令： ./start_navicat
执行命令后便启动navicat
2.常见问题解决：
如果系统中没有安装wine组件则执行./start_navica ...
idea导入sbt项目
在使用idea开发spark过程中，使用sbt工具构建是个相当好的构建方式，本文针对，用idea导入已经是sbt的项目进行说明：
1.导入项目 2.在弹出框中选择sbt项目：
3.选择箭头处的两个地方： 4.选择自动导入，箭头示意处： 接下来等待导入的依赖包和预编译即可，如果不限则如上图的两个auto，则出现找不到类的异常。
HBase shell使用过程中，使用CRT客户端，命令输入后无法删除一直困绕着我，今天终于受不了，几番度娘，谷哥之后，终于有了解决方法，特共享给大家。
secureCRT中，点击【选项】【回话选项】【终端】【仿真】，右边的终端选择linux
ubuntu14 设置root用户登录
开启root帐号的方法：
为了启用root 帐号（也就是设置一个口令）使用：
sudo passwd root
当你使用完毕后屏蔽root帐号使用：
sudo passwd -l root
这个将锁住root帐号。
如何在终端模式下切换到root身份？
sudo -s -H
Password: <在此输入密码>
编辑：
vi /usr/share/lightdm/lightdm.conf.d/50-ubuntu.conf
javascript简单加密解密函数
<title>JS加密函数</title>
<SCRIPT LANGUAGE="JavaScript">
var str_in;
var str_out = "";
var num_in;
var num_out = "";
var e = "Enter Text!";
// 加密
function str_to_num(form) {
num_out = "";
if (form. ...
nutch安装
安装软件准备
安装环境：centos 6.5
nutch：v2.2.1
hbase:v0.94.18
本篇重点讲述nutch的安装和nutch与hbase的集成，hbase的安装请参考其他资料；
安装步骤：
安装ant：因编译nutch源码，需要ant工具，下载apache-ant 设置 系统变量
写道
[hadoop@master nutch]$ vim /etc/profile
添加：ANT_HOME=/usr/local/ant 变量，并将AN_HOMT添加到PATH
下载nutch安装包：http://nutch.apache.org/dow ...
除了ntpdate可以同步两台主机之间的时间以外，另外一个工具就是rdate
查看时间服务器的时间:
# rdate time-b.nist.gov
设置时间和时间服务器同步:
# rdate -s time-b.nist.gov
# man rdate 查看rdate帮助
国内常用NTP服务器地址及IP：
s1d.time.edu.cn 东南大学
s1e.time.edu.cn 清华大学
s2a.time.edu.cn 清华大学
s2b.time.edu.cn 清华大学
s2c.time.edu.cn 北京邮电大学
ntp.sjtu.edu. ...