独孤依人
duguyiren3476 · 共 111 篇文章
spark运行在yarn上的一个异常
主机配置内存不足,导致在yarn上运行job异常,下面是spark运行在yarn上的一个异常: 17/05/03 17:58:02 ERROR client.TransportClient: Failed to send RPC 7785784597803174149 to /172.26.159.91:56630: java.nio.channels.ClosedChannelException java.nio.channels.ClosedChannelException 17/05/03 17:58:02 WARN netty.NettyRpcEndpointRef: Error s…
idea 2016.1 注册码 license
43B4A73YYJ-eyJsaWNlbnNlSWQiOiI0M0I0QTczWVlKIiwibGljZW5zZWVOYW1lIjoibGFuIHl1IiwiYXNzaWduZWVOYW1lIjoiIiwiYXNzaWduZWVFbWFpbCI6IiIsImxpY2Vuc2VSZXN0cmljdGlvbiI6IkZvciBlZHVjYXRpb25hbCB1c2Ugb25seSIsImNoZWNrQ29uY3VycmVudFVzZSI6ZmFsc2UsInByb2R1Y3RzIjpbeyJjb2RlIjoiSUkiLCJwYWlkVXBUbyI6IjIwMTctMDItMjUifSx7ImNv…
2016-08-09 18:13 · idea · 评论(0)
tensorflow 安装过程总结
tensorflow 安装过程总结: 1.mac 按照官网的 # Mac OS X $ sudo easy_install pip $ sudo easy_install --upgrade six $ export TF_BINARY_URL=https://storage.googleapis.com/tensorflow/mac/tensorflow-0.9.0rc0-py2-none-any.whl 出现如下错误: Collecting setuptools (from protobuf==3.0.0b2->tensorflow==0.9.0rc0) Downloading setu…
2016-06-21 17:07 · tensorflow · 评论(0)
drill1.0配置hive storage plugin及测试
drill1.0配置hive storage plugin及测试 drill,hive 截止到目前本博客发布前,apache drill最新发布版本是1.0.0,对与此版本的数据源支持和文件格式的支持: avro parquet hive hbase csv tsv psv File system 对于目前我的需求:snappy+sequencefile 的hdfs存储格式,drill没有直接的支持,想到hive支持查询snappy+sequencefile,而drill支持hive,由此产生了是否可以通过hive storage plugin的方式来读取snappy+sequencefil…
tez ui 安装测试
tez ui 安装测试 标签(空格分隔): 未分类 环境:hadoop-2.7.1,tez-0.7.0,tomcat 7 将编译后的tez-ui.xxx.war文件复制到tomcat的webapps目录中 修改tez-ui的war解压后的文件scripts/configs.js文件 App.setConfigs({ /* Environment configurations */ envDefaults: { version: "0.7.0", /* * By default TEZ UI looks for timeline server at http://localhost:8188,…
编译tez 0.7
tez自己编译0.7 版本,为了测试hadoop2.7.1 是否运行顺畅, 编译: mvn clean package -DskipTests=true -Dmaven.javadoc.skip=true 编译过程一直到tez-ui模块异常编译不通过:bower ESUDO Cannot be run with sudo,需要编辑tez-ui中的pom.xml文件,添加红色部分 <arguments> <argument>node_modules/bower/bin/bower</argument> <argument>install</argument> <argument> --allo…
pig on tez测试
pig on tez测试 pig tez hadoop hdfs 测试环境 pig-0.14.0 hadoop-2.5.2 ()1+2) hive on tez 测试后,很好奇,pig是否可以在tez上运行呢?从官网上可以看到pig on tez的描述,就想应该是可以pig on tez的. pig安装过程略过… 准备数据集 [hadoop@mymaster ~]$ wget http://hortonassets.s3.amazonaws.com/pig/lahman591-csv.zip [hadoop@mymaster ~]$ unzip lahman591-csv.zip [hado…
hive 小记
hive 小记 hive hadoop hdfs 测试环境 centos6.5 64bit hadoop-2.5.2 hive-0.14 udf引入第三方lib包 将第三方的jar统一存放到一个目录中:/usr/local/hivelib/ 并设置变量: export HIVE_AUX_JARS_PATH="/usr/local/hivelib/" 即可 设置hive的任务名 hive (default)>set mapred.job.name =test_xxx; 比较遗憾的是没有找到将hive的stage带入到任务名中 自定义udf函数加入到hive并指定函数名 在.hiverc文件中添…
ambari 安装配置
测试环境 centos6.5 64bit ambari-2.0.1 作用 ambari安装hadoop时默认是从官网在线下载安装包,安装包要3Gb左右大小,在线安装屡屡请求超时而失败,况且正式环境中hadoop集群主机多数是不能链接外网的,因此,配置一个本地数据源是多么的迫切和明智的,下面参考本地数据配置过程.ambari安装过程略过. 安装ambari 参考地址:https://cwiki.apache.org/confluence/display/AMBARI/Install+Ambari+2.0.1+from+Public+Repositories 接下来都是基于ambari-serv…
2015-06-02 11:28 · hadoop · 评论(0)
hive on tez hive运行在tez之上 安装测试
hive on tez详细配置和运行测试 tez hadoop hive hdfs yarn 环境: hadoop-2.5.2 hive-0.14 tez-0.5.3 hive on tez 的方式有两种安装配置方式: 在hadoop中配置 在hive中配置 比较: 第二种方式:当已经有了稳定的hadoop集群,而不想动这个集群时,可以考虑采用第二种方式配置,第二种方式配置后只有hive的程序可以动态的切换执行引擎:set hive.execution.engine=mr;// tez/mr ;而其他的mapreduce程序只能在yarn上运行; 第一种方式:侵入行较强,对原有的hadoop…
hadoop2.5.2配置httpfs服务
hadoop2.5.2配置httpfs服务 httpfs hadoop hdfs 测试环境 ubuntu 14.04 单机 hadoop2.5.2 伪分布式 jdk1.7 作用 通过HttpFs你可以在浏览器里面管理HDFS上的文件,功能同hadoop shell相似 HttpFs还提供了一套REST 风格的API可以用来管理HDFS 缺点 网络安全性 需要配置acl 修改core-site.xml <property> <name>hadoop.proxyuser.root.hosts</name> <value>localhost</value> </property> <propert…
2015-05-08 12:58 · hadoop · 评论(2)
ubuntu安装NFS及测试
ubuntu安装NFS及测试 测试环境 ubuntu 14.04 单机 安装nfs-kernel-server apt-get install nfs-kernel-server 创建共享目录 mkdir /opt/nfs #建立一个nfs服务的专有的文件夹; 修改 exports root@localhost:~# vim /etc/exports #在文件末尾添加如下一行 /opt/nfs *(rw,sync,no_root_squash) 说明: *:允许所有的网段访问,也可以使用具体的IP rw:挂接此目录的客户端对该共享目录具有读写权限 sync:资料同步写入内存和硬盘 no_ro…
2015-05-08 09:37 · Linux · 评论(0)
NFS挂载hdfs到本地
NFS挂载hdfs到本地 nfs hdfs nfs hdfs hdfs挂载: hdfs是分布式系统,要想访问hdfs上的文件,可以用java api 或者hadoop shell等工具,如果想操作hdfs文件系统就像操作本地文件系统一样的便捷,可以将hdfs文件系统挂载到本地的一个目录上,那么挂载的方式有两种: fuse 挂载 :需要另外安装fuse工具,详细请参考: http://duguyiren3476.iteye.com/blog/2054506 nfs挂载 :apache hadoop2.x以后的版本中自带了一个nfs3的插件服务,下面将详细讲解nfs挂载的方式。 测试环境 apa…
2015-05-07 18:34 · hadoop · 评论(2)
apache drill 0.8.0 单机/分布式安装测试
apache drill 0.8.0 安装测试 apache drill0.8.0 drill 0.8.0 单机模式 分布式 环境 apache-drill-0.8.0 apache-hadoop-2.5.2 jdk1.7 写在前面 看到社区发表的文章显示,apache drill 在PB级数据面前在数秒内即可查询返回结果,这个测试报告很吸引人,但是没有描述用了多少个节点有点遗憾,drill的强大引用一段描述: 大数据面临的一个很大的问题是大多数分析查询都很缓慢且非交互式。Google的Dremel能以极快的速度处理网络规模的海量数据。据谷歌的研究报告显示,Dremel能以拍字节(petab…
测试hbase预设分区
测试hbase预设分区 phonex-4.3 hbase-0.98.10 环境 hbase-0.98.10,hadoop-2.5.2 预设分区 使用hbase为了在写入阶段避免个别节点过热,通过数据的分布图,在创建表的时候预设表的分区: create 'test_splits', {NAME => 'cf', VERSIONS=> 3},{SPLITS => ['a','b','c']} 设置hbase-site.xml <property> <name>hbase.hregion.max.filesize</name> <value>3145728</value> </property> …