unable to create new native thread

异常 并行访问HDFS文件系统,部分请求抛出异常:java.lang.OutOfMemoryError: unable to create new native thread java.lang.OutOfMemoryError: unable to create new native thread at java.lang.Thread.start0(Native Method) at java.lang.Thread.start(Thread.java:691) at java.util.concurrent.ThreadPoolExecutor.addWorker(ThreadPoolExecutor.java:949) at java.util.concurrent.ThreadPoolExecutor.processWorkerExit(ThreadPoolExecutor.java:1017) at java.util.concurrent.ThreadPoolExec...

实现Linux Shell并发

经常在工作中遇到执行的脚本需要并发执行,提高效率。 常规脚本 #!bin/sh for((i=1;i<=5;i++));do { sleep 3; echo $i } done 执行:time bash test.sh 执行结果:总共耗时15秒 [root@pc disk1]# time sh test.sh 1 2 3 4 5 real 0m15.010s user 0m0.003s sys 0m0.005s [root@pc disk1]# 并发脚本 #!bin/sh for((i=1;i<=5;i++));do { sleep 3; echo $i }& done wait echo 'over' 每次for循环后加了一个后台执行&符号,那5个循环任务会并发执行,执行:time bash concurrent.sh 执行结果:...

Supervisor监控Flume

概述 Flume为数据采集工具,但缺乏监控工具,Flume进程的状态不能实时看到,且进程停止不回自动重启,可以利用Supervisor来完成这些工作。 安装配置Supervisor 参考文章 http://infullstack.com/linux_supervisor.html 配置/etc/supervisord.conf [program:flume] command=sh /usr/lib/flume/bin/flume-ng agent --conf /usr/lib/flume/conf/ -f /usr/lib/flume/conf/flume.conf -n agent1 -Dflume.root.logger=INFO,console autostart=true ;是否随supervisor启动 autorestart=true ...

Linux配置Supervisor管理进程

概述 Supervisor是由python语言编写,基于linux操作系统的一款服务器管理工具, 用以监控服务器的运行,发现问题能立即自动预警及自动重启等功能。 基础环境 Centos 6.5 Python 2.6.6 软件安装 supervisor meld(python html模版引擎) 下载地址: meld3 http://www.plope.com/software/meld3/meld3-0.6.5.tar.gz supervisor http://pypi.python.org/packages/source/s/supervisor/supervisor-3.0b1.tar.gz 下载解压,分别执行python setup.py install安装 文件配置 创建配置文件 echo_supervisord_conf > /etc/supervisord.con...