ITeye博客

kevin1

blgaici1 · 共 84 篇文章

hadoop & hive 学习

1.启动hive hive 2.显示所有表 show tables; 3.查看表的内容 describe t_app; 4.hive导文件到本地 hive -e "select * from t_app where apk_id < 1000000 " > /home/hadoop/armmy or hive -e "insert overwrite local directory '/recommend/armmy/' select * from t_app where apk_id < 1000000 " 5.hive 导文件到hdfs上 hive -e "insert overwrit…

2014-12-03 10:49 · 评论(0)

linux配置开机自动启动

1.linux开机启动过程为: kernel--->;init(/etc/inittab)--->;/etc/rc.d/rc.sysinit--->;/etc/rc.d/rc(切换运行级,最后一步调用rc.local)--->;getty 检查linux启动的级别,shell 中运行: runlevel 或者查看 /etc/inittab 文件 进入/etc/rc.d/rc3.d,检查S99local指向的文件 4.即直接编辑/etc/rc.d/rc.local文件即可 注意:rc.local 在开机自动启动时会以root权限执行,而我们自己的应用很多时候需要用别的帐号进行执行,如:hado…

2014-09-30 10:19 · 评论(0)

网络io学习

http://blog.sae.sina.com.cn/archives/1988

2014-01-27 10:21 · linux学习 · 评论(0)

linux shell 学习

1.查看进程号 pgrep gedit 2.查看环境变量 cat /proc/12401/environ 3.tr cat /proc/12401/environ | tr '\0' '\n' 4.代理设置 HTTP_PROXY=http://192.168.0.2:3128 export HTTP_PROXY 5.获取变量长度 var=1234567890 echo ${#var} 6.算术操作 let 、 (( )) 、[] let result = no1+no2 echo $result result=$[no1 + no2] result=$[$no1 + 5] result=$(…

2013-12-14 10:42 · linux学习 · 评论(0)

storm 安装

--------------------------------------------strom set up------------------------------------- 1.set up a zookeeper cluster 2.set up ZeroMQ 2.1.7 tar -xzf zeromq-2.1.7.tar.gz cd zeromq-2.1.7 ./configure make make install configure: error: cannot link with -luuid, install uuid-dev. #yum install libuu…

2013-09-02 16:32 · java学习 · 工具使用 · linux学习 · 评论(1)

2013 年计划

** 新年计划** 1.学习数据挖掘和机器学习教程,并应用到工作中 2.学习R语言和python语言 3.学习hadoop和Storm 4.学习设计模式和阅读开源代码

2013-02-26 11:10 · 日志 · 评论(0)

动态代理性能比较

转自http://javatar.iteye.com/blog/814426 //用javassit得到动态代理 public T createJavassistBytecodeDynamicProxy(LoadBalance loadBalance,ConcurrentMap<String, T> map,Class ifaces){ try{ ClassPool mPool = new ClassPool(true); CtClass mCtc = mPool.makeClass(ifaces.getName() + "JavaassistProxy"); mCtc.addInterfa…

2013-01-18 17:02 · java学习 · 评论(0)

java 类加载器学习

1.自定义类加载器 public interface InterfaceTest { public void test(); } public class IntefaceImpl implements InterfaceTest { @Override public void test() { // TODO Auto-generated method stub System.out.println("------------"); } } public class MyClassLoader extends ClassLoader{ private String path = "/hom…

2012-12-14 10:47 · java学习 · 评论(0)

jackson 学习

1.json 转为object对象 public class CouponMessageConverter implements MessageConverter { private static ObjectMapper objectMapper= new ObjectMapper(); static { objectMapper.configure(DeserializationConfig.Feature.FAIL_ON_UNKNOWN_PROPERTIES,false); objectMapper.setVisibility(JsonMethod.FIELD, JsonAutoDet…

2012-11-13 15:42 · java学习 · 评论(0)

java 线程池 异常 处理 机制 分析

public class ThreadTest { public static void main(String[] args) { ExecutorService exe = Executors.newFixedThreadPool(10); ExecutorCompletionService com = new ExecutorCompletionService(exe); Future future = com.submit(new Runnable(){ @Override public void run() { throw new RuntimeException(); }},"s…

2012-10-31 19:34 · java学习 · 评论(0)

ThreadPoolExecutor 原理-- java 线程池

整个ThreadPoolExecutor的任务处理有4步操作: 第一步,初始的poolSize < corePoolSize,提交的runnable任务,会直接做为new一个Thread的参数,立马执行 第二步,当提交的任务数超过了corePoolSize,就进入了第二步操作。会将当前的runable提交到一个block queue中 第三步,如果block queue是个有界队列,当队列满了之后就进入了第三步。如果poolSize < maximumPoolsize时,会尝试new 一个Thread的进行救急处理,立马执行对应的runnable任务 第四步,如果第三步救急方案也无法处理了,…

2012-08-08 19:14 · java学习 · 评论(0)

java 缓冲

import org.apache.log4j.Logger; import java.lang.management.ManagementFactory; import java.lang.ref.Reference; import java.lang.ref.ReferenceQueue; import java.lang.ref.SoftReference; import java.util.LinkedList; import java.util.Map; import java.util.Set; import java.util.concurrent.ConcurrentHash…

2012-08-08 19:12 · java学习 · 评论(0)

JVM 内存分析

1.获取java程序进程号 jps 2.jmap jmap pid #打印内存使用的摘要信息 jmap –heap pid #java heap信息 jmap -histo:live pid #统计对象count ,live表示在使用 jmap -histo pid >mem.txt #打印比较简单的各个有多少个对象占了多少内存的信息,一般重定向的文件 jmap -dump:format=b,file=mem.dat pid #将内存使用的详细情况输出到mem.dat 文件,可以用jvisualvm等工具进行内存分析 3.jstack jstack $PID 可以找出cpu使用最高的对象,j…

2012-05-23 11:44 · jvm 内存分析 · 评论(0)

java 程序消耗 cpu 100% 查找方法

问题原因:由于HashMap是非线程安全的,在多线程访问时,造成死循环。 查找问题方法: 1. top 找出最耗费cpu的进程号 如:27377 top -p 27377 -H 找出此进程下的所有线程,然后找出最耗cpu线程号 如:27433 python hex(27433) 将十进制数转为16进制 如:0x6b29 jstack 27377 >cpu.log 将此进程号的Java堆栈信息打印到文件中 grep 0x6bz8 cpu.log 查看java堆栈中的线程nid 如: "foundationTaskExecutor-2" prio=10 tid=0x00007f064c04100…

2012-05-16 14:38 · java学习 · ajax学习 · 评论(0)

java io

** 1、按字节读取文件内容 2、按字符读取文件内容 3、按行读取文件内容 4、随机读取文件内容 ** public class ReadFromFile { /** * 以字节为单位读取文件,常用于读二进制文件,如图片、声音、影像等文件。 */ public static void readFileByBytes(String fileName) { File file = new File(fileName); InputStream in = null; try { System.out.println("以字节为单位读取文件内容,一次读一个字节:"); // 一次读一个字节 in =…

2012-04-24 11:06 · java学习 · 评论(0)