duguyiren3476
- 浏览: 458649 次
- 性别:
- 来自: 北京
-
最新评论
-
zhangyou1010：
zhangyou1010 写道请教，我执行mount -t n ...
NFS挂载hdfs到本地 -
zhangyou1010：
请教，我执行mount -t nfs -o vers=3,pr ...
NFS挂载hdfs到本地 -
hengfengyiyingdong：
为什么我查出来的hbase数据都是base64编码的？ 我保存 ...
apache drill 0.8.0 单机/分布式安装测试 -
107x：
不错，谢谢！
Hive metastore三种存储方式 -
duguyiren3476：
确实不怎么快，httpfs的上传你可以理解为普通的httpup ...
hadoop2.5.2配置httpfs服务
文章列表
kafka安装测试过程
kafka的性能在此不再赘述，百度一下很多，在此描述一下kafka的安装和测试过程：
安装kafka：
#tar -xzf kafka_2.9.2-0.8.1.tgz
#cd kafka_2.9.2-0.8.1
#mv kafka_2.9.2-0.8.1 kafka
开启zookeeper服务：
bin/zookeeper-server-start.sh config/zookeeper.properties
开启kafka服务：
bin/kafka-server-start.sh config/server.propertie ...
CentOs 设置静态IP 方法
在做项目时由于公司局域网采用自动获取ＩＰ的方式，导到每次服务器重启主机ＩＰ都会变化。为了解决这个问题，设置静态IP解决了这个问题，修改步骤如下：
１.修改网卡配置 编辑：vi /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE=eth0
TYPE=Ethernet
UUID=9ec627c6-a64c-42b2-9635-0b1bfd8ae22f
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static #此值设置为static
HWADDR= ...
fuse挂载hdfs 安装配置
- 博客分类：
- hadoop
fuse安装的情况下，需要使用root进行启动配置，如果需要使用其他账号挂载目录:
echo user_allow_other >> /etc/fuse.conf
chmod +rx /bin/fusermount
然后在使用fusemount的命令加上一些选择，数字是用户id和组id -d -o uid=2001 -o gid=2001
下载fuse安装包到指定补录：
#wget http://sourceforge.net/projects/fuse/files/fuse-2.X/2.8.4/fuse-2.8.4.tar.gz/download?use_m ...
eclipse安装pydev插件时没有任何错误提示，但是就是装完了后不显示pydev的项置项。
环境：eclipse juno
python:3.3
jdk:1.6
pydev:3.2
解决办法有两种：
1.安装jdk1.7+
2.安装pydev2.*版本
下载pydev相应的插件：http://sourceforge.net/projects/pydev/files/pydev/
原因是：因为pydev最新的pydev3 要java7，我的jdk是1.6的，我换了pydev2.82就可以了，
感谢：http://tj007-bo.iteye.com/blog/435740的博主为我解决了问题
JAVE (Java Audio Video Encoder) 类库是一个 ffmpeg 项目的 Java 语言封装。开发人员可以使用JAVE 在不同的格式间转换视频和音频。例如将 AVI 转成 MPEG 动画，等等 ffmpeg 中可以完成的在 JAVE 都有对应的方法。
Examples
From a generic AVI to a youtube-like FLV movie, with an embedded MP3 audio stream:
[html] vie ...
python安装mysql连接模块，步骤：
os:win xp ；
python：3.2 32bit；
setuptools:2.0 地址：http://pypi.python.org/pypi/setuptools 或末尾附件下载
mysql-python:3.2-32bit：http://download.csdn.net/detail/txw1958/5818181 或附件下载 下载exe安装文件
下载mysql-python:3.2-32bit ，参考地址：http://download.csdn.net/detail/txw1958/5818181，或下载附件 ...
ubuntu 12.04忘记密码解决办法:启动电脑，按esc或者shift，进入gurb界面，在第一行按e，在linux /boot/vmlinuz 最后一行加入 rw init=/bin/bash 然后按F10进入。修改用户密码： passwd yourname，输入两次新密码。按ctrl+alt+delete重启电脑，搞定。看图片。
成功修改密码。linux 还有这么个牛叉门路。
Server端对tomcat启动脚本配置如下参数: 编辑${tomcat_home}/bin/catalina.sh 并加入如下参数
JAVA_OPTS="$JAVA_OPTS -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=1899 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Djava.rmi.server.hostname=192.168.1.107 ...
个人原本以为javascript客户端脚本语言对客户端的文件操作是不安全的，就不允许js对客户端文件进行操作，看到这篇文章，才明白，不安全不等于不让操作。 今天项目用到需要在客户端打开文件，并判断文件的大小。 用到了就会了，贴出来提醒自己要不断的学习，也方便自己日后查阅。
<script language = "javascript" type = "text/javascript">
var getActiveXObject ,getFile,someMessage ...
基于hadoop源码开发环境搭建
在开发hadoop的MR，以及研究hadoop源码，都需要将hadoop源码java部署到开发工具中，
例如常用的eclipse，具体做法如下：
第一步：在Eclipse新建一个Java项目
第二步：将Hadoop程序src下core, hdfs, mapred, tools几个目录copy到上述新建项目的src目录
第三步：修改将Java Build Path，删除src，添加src/core, src/hdfs....几个源码目录
第四步：为Java Build Path添加项目依赖 ...
Axis2与Eclipse整合开发Web Service
系统功能: 开发一个计算器服务CalculateService，这个服务包含加(plus)、减(minus)、乘(multiply)
、除(divide)的操作。
开发前准备：
1、安装Eclipse-jee；
2、下载Axis2的最新版本Axis2 1.4.1 Re ...
StringUtils详细介绍
public static void TestStr(){
//null 和 ""操作~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
//判断是否Null 或者 ""
//System.out.println(StringUtils.isEmpty(null));
//System.out.println(StringUtils.isNotEmpty(null));
//判 ...
MySQL数据库水平切分的实现原理解析(转)
随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大 型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性 ...
hadoop 在win系统中的eclipse开发测试问题及解决
一· 在win系统下安装cygwin的步骤不在赘述，常见错误如下：问题1]
# /usr/local/sbin/sshd
/usr/local/sbin/sshd: error while loading shared libraries: libnsl.so.1: cannot open shared object file: No such file or directory
[分析与解决] 用strace跟踪sshd，查询缺少的目录和文件，给与相应的添补。 strace -f -F /usr/local/sb ...
在使用mysql查询映射字段为datetime类型的值为'0000-00-00 00:00:00' 将会抛出异常
结果发现很多人都遇到相同的问题，就是通过JDBC去访问时就会发生此类异常：:
java.sql.SQLException: Value '0000-00-00 ' can not be represented as java.sql.Timestamp
解决办法:
给jdbc url加上 zeroDateTimeBehavior参数：
datasource.url=jdbc:mysql://localhost:3306/te ...