ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

HAProxy、Tomcat

2022-07-06 01:01:17  阅读:238  来源: 互联网

标签:HAProxy haproxy http tomcat Tomcat 10.0 server 80


一、编译安装haproxy

一键安装脚本

#!/bin/bash
# 编译安装HAProxy

. /etc/init.d/functions
#HAproxy版本
HAProxy_version=haproxy-2.6.1
TAR=tar.gz
HAProxy=${HAProxy_version}.${TAR}

#HAProxy源码下载地址
HAProxy_url=http://www.haproxy.org/download/2.6/src/haproxy-2.6.1.tar.gz
# haproxy安装路径
HAProxy_install_DIR=/apps/haproxy

#lua版本
Lua_version=lua-5.3.5
TAR_lua=tar.gz
Lua=${Lua_version}.${TAR_lua}
#lua源码下载地址
Lua_url=http://www.lua.org/ftp/${Lua}


# CPU数量
CPUS=`lscpu|grep "^CPU(s)"|awk '{print $2}'`
# 系统类型
os_type=`grep "^NAME" /etc/os-release |awk -F'"| ' '{print $2}'`
# 系统版本号
os_version=`awk -F'"' '/^VERSION_ID/{print $2}' /etc/os-release`

color () {
if [[ $2 -eq 0 ]];then
    echo -e "\e[1;32m$1\t\t\t\t\t\t[  OK  ]\e[0;m"
else
    echo $2
    echo -e "\e[1;31m$1\t\t\t\t\t\t[ FAILED ]\e[0;m"
fi
}

download_lua (){
cd /opt
if [ -e ${Lua} ];then
	color "lua安装包已存在" 0
else
	color "开始下载lua安装包" 0
	wget ${Lua_url}
	if [ $? -ne 0 ];then
		color "下载lua安装包失败,退出!" 1
		exit 1
	fi

fi
}

download_haproxy (){
cd /opt
if [ -e ${HAProxy} ];then
	color "haproxy安装包已存在" 0
else
	color "开始下载haproxy安装包" 0
	wget ${HAProxy_url}
	if [ $? -ne 0 ];then
		color "下载haproxy安装包失败,退出!" 1
		exit 1
	fi
fi
}

update_lua (){
# 安装依赖包
yum -y install gcc readline-devel

# 解压源码包
tar -xvf /opt/${Lua} -C /usr/local/src
ln -s /usr/local/src/${Lua_version} /usr/local/src/lua

# 编译安装
cd /usr/local/src/lua
make linux test
}

install_haproxy (){
# 安装依赖包
yum -y install gcc openssl-devel pcre-devel systemd-devel

# 解压源码包
tar xvf /opt/${HAProxy} -C /usr/local/src
ln -s /usr/local/src/${HAProxy_version} /usr/local/src/haproxy

# 编译安装
cd /usr/local/src/haproxy
make ARCH=x86_64 TARGET=linux-glibc USE_PCRE=1 USE_OPENSSL=1 USE_ZLIB=1 USE_SYSTEMD=1 USE_LUA=1 LUA_INC=/usr/local/src/lua/src/ LUA_LIB=/usr/local/src/lua/src/
make install PREFIX=${HAProxy_install_DIR}
ln -s ${HAProxy_install_DIR}/sbin/haproxy /usr/sbin/

# 准备服务启动配置文件
## 添加用户
useradd -r -s /sbin/nologin -d /var/lib/haproxy haproxy
mkdir -p /etc/haproxy
mkdir -p /var/lib/haproxy
## 准备service服务
cat > /usr/lib/systemd/system/haproxy.service <<EOF
[Unit]
Description=HAProxy Load Balancer
After=syslog.target network.target

[Service]
ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q
ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
ExecReload=/bin/kill -USR2 $MAINPID
LimitNOFILE=100000

[Install]
WantedBy=multi-user.target
EOF

###准备haproxy配置文件
cat > /etc/haproxy/haproxy.cfg <<EOF
global
	maxconn 100000
	chroot ${HAProxy_install_DIR}
	stats socket /var/lib/haproxy/haproxy.sock mode 600 level admin
	#uid 99
	#gid 99
	user haproxy
	group haproxy
	daemon
	#nbproc 4
	#cpu-map 1 0
	#cpu-map 2 1
	#cpu-map 3 2
	#cpu-map 4 3
	pidfile /var/lib/haproxy/haproxy.pid
	log 127.0.0.1 local2 info

defaults
	option http-keep-alive
	option forwardfor
	maxconn 100000
	mode http
	timeout connect 300000ms
	timeout client 300000ms
	timeout server 300000ms

listen stats
	mode http
	bind 0.0.0.0:9999
	stats enable
	log global
	stats uri	/haproxy-status
	stats auth	haadmin:123456

listen web_port
	bind 0.0.0.0:80
	mode http
	log global
	server web1	127.0.0.1:8080 check inter 3000 fall 2 rise 5
EOF

systemctl daemon-reload
systemctl enable --now haproxy
systemctl is-active haproxy

if [ $? -ne 0 ];then
	color "haproxy服务启动失败!" !
	exit 1
else
	color "haproxy服务启动成功" 0
fi
}

download_lua

download_haproxy

update_lua

install_haproxy

exit 0

查看端口

[root@shichu opt]# systemctl status haproxy
● haproxy.service - HAProxy Load Balancer
   Loaded: loaded (/usr/lib/systemd/system/haproxy.service; enabled; vendor preset: disabled)
   Active: active (running) since Tue 2022-06-28 00:22:44 CST; 2min 7s ago
  Process: 2077 ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -c -q (code=exited, status=0/SUCCESS)
 Main PID: 2079 (haproxy)
   CGroup: /system.slice/haproxy.service
           ├─2079 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid
           └─2084 /usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -p /var/lib/haproxy/haproxy.pid

Jun 28 00:22:44 shichu systemd[1]: Starting HAProxy Load Balancer...
Jun 28 00:22:44 shichu systemd[1]: Started HAProxy Load Balancer.
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE]   (2079) : haproxy version is 2.6.1-f6ca66d
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE]   (2079) : path to executable is /usr/sbin/haproxy
Jun 28 00:22:44 shichu haproxy[2079]: [ALERT]    (2079) : config : parsing [/etc/haproxy/haproxy.cfg:15] : 'pidfile' already specified. Continuing.
Jun 28 00:22:44 shichu haproxy[2079]: [WARNING]  (2079) : config : ca-file: '@system-ca' couldn't load '/etc/pki/tls/certs/ca-bundle.trust.crt'
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE]   (2079) : New worker (2084) forked
Jun 28 00:22:44 shichu haproxy[2079]: [NOTICE]   (2079) : Loading success.
Jun 28 00:22:44 shichu haproxy[2079]: [WARNING]  (2084) : Server web_port/web1 is DOWN, reason: Layer4 connection problem, info: "Connection refused", check duration: 5ms. 0 active and 0 back...ining in queue.
Jun 28 00:22:44 shichu haproxy[2079]: [ALERT]    (2084) : proxy 'web_port' has no server available!
Hint: Some lines were ellipsized, use -l to show in full.


[root@shichu opt]# netstat -ntlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name  
tcp        0      0 0.0.0.0:22              0.0.0.0:*               LISTEN      900/sshd          
tcp        0      0 127.0.0.1:25            0.0.0.0:*               LISTEN      1052/master       
tcp        0      0 0.0.0.0:9999            0.0.0.0:*               LISTEN      2084/haproxy      
tcp        0      0 0.0.0.0:111             0.0.0.0:*               LISTEN      634/rpcbind       
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      2084/haproxy      
tcp6       0      0 :::22                   :::*                    LISTEN      900/sshd          
tcp6       0      0 ::1:25                  :::*                    LISTEN      1052/master       
tcp6       0      0 :::111                  :::*                    LISTEN      634/rpcbind   

二、总结haproxy各调度算法的实现方式及其应用场景

1. 静态算法

按照事先定义好的规则轮询公平调度,不关心后端服务器的当前负载、连接数和响应速度等,且无法实时修改权重(只能为0和1,不支持其它值),只能靠重启HAProxy生效。

  1. static-rr

    基于权重的轮询调度,不支持运行时利用socat进行权重的动态调整(只支持0和1,不支持其他值)及后端服务器慢启动,其后端主机数量没有限制,相当于LVS中的wrr。

    配置示例

    listen web_host
    	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    	mode http
    	log global
    	balance static-rr
    	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
    	server web2 10.0.0.27:80 weight 2 check inter 3000 fall 2 rise 5
    
  2. first

    根据服务器在列表中的位置,自上而下进行调度,但是其只会当第一台服务器的连接数达到上限,新请求才会分配给下一台服务,因此会忽略服务器的权重设置,此方式使用较少。

    不支持使用socat进行动态修改权重,可以设置0和1,可以设置其他值但无效

    配置示例

    listen web_host
    	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    	mode http
    	log global
    	balance first
    	server web1 10.0.0.17:80 maxconn 2 weight 1 check inter 3000 fall 2 rise 5
    	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
    

2. 动态算法

动态算法:基于后端服务器状态进行调度适当调整,新请求将优先调度至当前负载较低的服务器,且权重可以在haproxy运行时动态调整无需重启。

  1. roundronbin

    基于权重的轮询动态调度算法,支持权重的运行时调整,不同于lvs中的rr轮询模式,HAProxy中的roundrobin支持慢启动(新加的服务器会逐渐增加转发数),其每个后端backend中对多支持4095个real server,支持对real server权重动态调整,roundrobin为默认调度算法,此算法使用广泛。

    配置示例

    listen web_host
    	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    	mode http
    	log global
    	balance roundrobin
    	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
    	server web2 10.0.0.27:80 weight 2 check inter 3000 fall 2 rise 5
    

    支持动态调整权重

    # echo "get weight web_host/web1" | socat stdio /var/lib/haproxy/haproxy.sock 
    1 (initial 1)
    
    # echo "set weight web_host/web1 3" | socat stdio /var/lib/haproxy/haproxy.sock 
    
    # echo "get weight web_host/web1" | socat stdio /var/lib/haproxy/haproxy.sock 
    3 (initial 1)
    
  2. leastconn

    加权的最少连接的动态,支持权重的运行时调整和慢启动,即:根据当前连接最少的后端服务器而非权重进行优先调度(新客户端连接),比较适合长连接的场景使用,比如:MySQL等场景。

    配置示例

    listen web_host
    	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    	mode http
    	log global
    	balance leastconn
    	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
    	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
    
  3. random

    在1.9版本开始增加 random的负载平衡算法,其基于随机数作为一致性hash的key,随机负载平衡对于大型服务器场或经常添加或删除服务器非常有用,支持weight的动态调整,weight较大的主机有更大概率获取新请求。

    配置示例

    listen web_host
    	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    	mode http
    	log global
    	balance random
    	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
    	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
    

3. 其他算法

即可作为静态算法,又可以通过选项成为动态算法

1)souce

源地址hash,基于用户源地址hash并将请求转发到后端服务器,后续同一个源地址请求将被转发至同一个后端web服务器。此方式当后端服务器数据量发生变化时,会导致很多用户的请求转发至新的后端服务器,默认为静态方式,但是可以通过hash-type支持的选项更改。

这个算法一般是在不插入Cookie的TCP模式下使用,也可给拒绝会话cookie的客户提供最好的会话粘性,适用于session会话保持但不支持cookie和缓存的场景。

源地址有两种转发客户端请求到后端服务器的服务器选取计算方式,分别是取模法和一致性hash。

  1. map-based取模法

    取模法,对source即源地址进行hash计算,再基于服务器总权重的取模,最终结果决定将此请求转发至对应的后端服务器。此方法是静态的,即不支持在线调整权重,不支持慢启动,可实现对后端服务器均衡调度。缺点是当服务器的总权重发生变化时,即有服务器上线或下线,都会因总权重发生变化而导致调度结果整体改变,hash-type 指定的默认值为此算法

    map-based算法:基于权重取模,hash(source_ip)%所有后端服务器相加的总权重
    

    配置示例

    listen web_host
    	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    	mode tcp
    	log global
    	balance source
    	hash-type map-based 
    	server web1  10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 3
    	server web2  10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 3
      
    #不支持动态调整权重值
    [root@haproxy ~]#echo "set weight web_host/10.0.0.27 10" | socat stdio /var/lib/haproxy/haproxy.sock 
    Backend is using a static LB algorithm and only accepts weights '0%' and '100%'. 
    
    #只能动态上线和下线
    [root@haproxy ~]#echo "set weight web_host/10.0.0.27 0" | socat stdio /var/lib/haproxy/haproxy.sock 
    [root@haproxy conf.d]#echo "get weight web_host/10.0.0.27" | socat stdio /var/lib/haproxy/haproxy.sock 
    0 (initial 1)
    
  2. 一致性hash

    一致性哈希,当服务器的总权重发生变化时,对调度结果影响是局部的,不会引起大的变动,hash(o)mod n ,该hash算法是动态的,支持使用 socat等工具进行在线权重调整,支持慢启动。

    算法:

    1、key1=hash(source_ip)%(2^32) [0---4294967295]
    2、keyA=hash(后端服务器虚拟ip)%(2^32)
    3、将key1和keyA都放在hash环上,将用户请求调度到离key1最近的keyA对应的后端服务器
    

    hash环偏斜问题

    增加虚拟服务器IP数量,比如:一个后端服务器根据权重为1生成1000个虚拟IP,再hash。而后端服务器权重为2则生成2000的虚拟IP,再bash,
    最终在hash环上生成3000个节点,从而解决hash环偏斜问题。
    

    配置示例

    listen web_host
    	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
    	mode tcp
    	log global
    	balance source
    	hash-type consistent
    	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
    	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5
    

2)uri

基于对用户请求的URI的左半部分或整个uri做hash,再将hash结果对总权重进行取模后,根据最终结果将请求转发到后端指定服务器,适用于后端是缓存服务器场景,默认是静态算法,也可以通过hash-type指定map-based和consistent,来定义使用取模法还是一致性hash。

注意:此算法基于应用层,所以只支持 mode http ,不支持 mode tcp

<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>
左半部分:/<path>;<params>
整个uri:/<path>;<params>?<query>#<frag>

uri取模法配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance uri
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

uri 一致性hash配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance uri
	hash-type consistent
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

3)url_param

url_param对用户请求的url中的 params 部分中的一个参数key对应的value值作hash计算,并由服务器总权重相除以后派发至某挑出的服务器;通常用于追踪用户,以确保来自同一个用户的请求始终发往同一个real server,如果无没key,将按roundrobin算法。

# 假设:
url = http://www.magedu.com/foo/bar/index.php?key=value

# 则:
host = "www.magedu.com"
url_param = "key=value"

取模法配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance url_param userid		#url_param hash
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

一致性hash配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance url_param userid		#对url_param的值取hash
	hash-type consistent
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

4)hdr

针对用户每个http头部(header)请求中的指定信息做hash,此处由name指定的http首部将会被取出并做hash计算,然后由服务器总权重取模以后派发至某挑出的服务器,如果无有效值,则会使用默认的轮询调度。

取模法配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance hdr(User-Agent)
	#balance hdr(host)
	  
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

一致性hash配置示例

listen web_host
	bind 10.0.0.7:80,:8801-8810,10.0.0.7:9001-9010
	mode http
	log global
	balance hdr(User-Agent)
	hash-type consistent
	server web1 10.0.0.17:80 weight 1 check inter 3000 fall 2 rise 5
	server web2 10.0.0.27:80 weight 1 check inter 3000 fall 2 rise 5

rdp-cookie对远windows远程桌面的负载,使用cookie保持会话,默认是静态,也可以通过hash-type指定map-based和consistent,来定义使用取模法还是一致性hash。

取模法配置示例

listen RDP
	bind 10.0.0.7:3389
	balance rdp-cookie
	mode tcp
	server rdp0 10.0.0.17:3389 check fall 3 rise 5 inter 2000 weight 1

一致性hash配置示例

listen magedu_RDP_3389
	bind  172.16.0.100:3389
	balance rdp-cookie
	hash-type consistent
	mode tcp
	server rdp0 10.0.0.200:3389 check fall 3 rise 5 inter 2000 weight 1

注意:基于iptables实现RDP协议转发,必须开启ip转发功能: net.ipv4.ip_forward = 1。

4. 算法总结

#静态
static-rr--------->tcp/http  
first------------->tcp/http

#动态
roundrobin-------->tcp/http
leastconn--------->tcp/http
random------------>tcp/http

#以下静态和动态取决于hash_type是否consistent
source------------>tcp/http
Uri--------------->http
url_param--------->http     
hdr--------------->http
rdp-cookie-------->tcp

5. 适用场景

static-rr			#做session共享的web集群
first 				#使用较少

roundrobin			#默认调度算法
leastconn			#数据库
random				#对于大型服务器场或经常添加或删除服务器非常有用

source				#基于客户端公网IP的会话保持

Uri				#缓存服务器,CDN服务商,蓝汛、百度、阿里云、腾讯
url_param			#可以实现session保持

hdr				#基于客户端请求报文头部做下一步处理
rdp-cookie			#基于Windows主机,很少使用

三、使用haproxy的ACL实现基于文件后缀名的动静分离

访问控制列表(ACL,Access Control Lists)是一种基于包过滤的访问控制技术,它可以根据设定的条件对经过服务器传输的数据包进行过滤(条件匹配),即对接收到的报文进行匹配和过滤,基于请求报文头部中的源地址、源端口、目标地址、目标端口、请求方法、URL、文件后缀等信息内容进行匹配并执行进一步操作,比如允许其通过或丢弃。

官网帮助:http://cbonte.github.io/haproxy-dconv/2.1/configuration.html#7

1. ACL配置选项

acl   <aclname> <criterion>   [flags]     [operator]   [<value>]
acl     名称     匹配规范     匹配模式     具体操作符     操作对象类型

1) Name

acl   image_service hdr_dom(host)   -i   img.magedu.com

#ACL名称,可以使用大字母A-Z、小写字母a-z、数字0-9、冒号:、点.、中横线和下划线,并且严格区分大小写,比如:my_acl和My_Acl就是两个完全不同的acl

2) criterion

定义ACL匹配规范,即:判断条件

hdr string,提取在一个HTTP请求报文的首部
hdr([<name> [,<occ>]]):完全匹配字符串,header的指定信息,<occ> 表示在多值中使用的值的出现次数
hdr_beg([<name> [,<occ>]]):前缀匹配,header中指定匹配内容的begin
hdr_end([<name> [,<occ>]]):后缀匹配,header中指定匹配内容end
hdr_dom([<name> [,<occ>]]):域匹配,header中的domain name
hdr_dir([<name> [,<occ>]]):路径匹配,header的uri路径
hdr_len([<name> [,<occ>]]):长度匹配,header的长度匹配
hdr_reg([<name> [,<occ>]]):正则表达式匹配,自定义表达式(regex)模糊匹配
hdr_sub([<name> [,<occ>]]):子串匹配,header中的uri模糊匹配
 
#示例:
hdr(<string>) 用于测试请求头部首部指定内容
hdr_dom(host) 请求的host名称,如 www.magedu.com
hdr_beg(host) 请求的host开头,如 www.   img.   video.   download.   ftp.
hdr_end(host) 请求的host结尾,如 .com   .net   .cn 
#示例:
acl bad_agent hdr_sub(User-Agent) -i curl wget
block if bad_agent
#有些功能是类似的,比如以下几个都是匹配用户请求报文中host的开头是不是www
acl short_form hdr_beg(host)       www.
acl alternate1 hdr_beg(host) -m beg www.
acl alternate2 hdr_dom(host) -m beg www.
acl alternate3 hdr(host)     -m beg www.
base : string
#返回第一个主机头和请求的路径部分的连接,该请求从主机名开始,并在问号之前结束,对虚拟主机有用
<scheme>://<user>:<password>@#<host>:<port>/<path>;<params>#?<query>#<frag>
 base     : exact string match
 base_beg : prefix match
 base_dir : subdir match
 base_dom : domain match
 base_end : suffix match
 base_len : length match
 base_reg : regex match
 base_sub : substring match
path : string
#提取请求的URL路径,该路径从第一个斜杠开始,并在问号之前结束(无主机部分)
<scheme>://<user>:<password>@<host>:<port>#/<path>;<params>#?<query>#<frag>
 path     : exact string match
 path_beg : prefix match  #请求的URL开头,如/static、/images、/img、/css
 path_end : suffix match  #请求的URL中资源的结尾,如 .gif .png .css .js .jpg .jpeg
 path_dom : domain match
 path_dir : subdir match
 path_len : length match
 path_reg : regex match
 path_sub : substring match
#示例:
 path_beg -i /haproxy-status/ 
 path_end .jpg .jpeg .png .gif 
 path_reg ^/images.*\.jpeg$ 
 path_sub image
 path_dir jpegs 
 path_dom magedu
 
url : string
#提取请求中的整个URL。一个典型的应用是具有预取能力的缓存,以及需要从数据库聚合多个信息并将它们保
存在缓存中的网页门户入口,推荐使用path
 url :exact string match
 url_beg : prefix match
 url_dir : subdir match
 url_dom : domain match
 url_end : suffix match
 url_len : length match
 url_reg : regex match
 url_sub : substring match
 
dst #目标IP
dst_port #目标PORT
src   #源IP
src_port #源PORT
#示例:
acl invalid_src src 10.0.0.7 192.168.1.0/24
acl invalid_src src 172.16.0.0/24
acl invalid_port src_port 0:1023
status : integer  #返回在响应报文中的状态码
#七层协议
acl valid_method method GET HEAD
http-request deny if ! valid_method

3) flags

ACL匹配模式

-i 不区分大小写
-m 使用指定的pattern匹配方法
-n 不做DNS解析
-u 禁止acl重名,否则多个同名ACL匹配或关系

4) operator

ACL 操作符

整数比较:eq、ge、gt、le、lt
字符比较:
- exact match     (-m str) :字符串必须完全匹配模式
- substring match (-m sub) :在提取的字符串中查找模式,如果其中任何一个被发现,ACL将匹配
- prefix match   (-m beg) :在提取的字符串首部中查找模式,如果其中任何一个被发现,ACL将匹配
- suffix match   (-m end) :将模式与提取字符串的尾部进行比较,如果其中任何一个匹配,则ACL进
行匹配
- subdir match   (-m dir) :查看提取出来的用斜线分隔(“/")的字符串,如其中任一个匹配,则
ACL进行匹配
- domain match   (-m dom) :查找提取的用点(“.")分隔字符串,如果其中任何一个匹配,则ACL进
行匹配

5) value

value的类型

The ACL engine can match these types against patterns of the following types :
- Boolean #布尔值
- integer or integer range #整数或整数范围,比如用于匹配端口范围
- IP address / network #IP地址或IP范围, 192.168.0.1 ,192.168.0.1/24
- string--> www.magedu.com
 exact #精确比较
 substring #子串
 suffix #后缀比较
 prefix #前缀比较
 subdir #路径, /wp-includes/js/jquery/jquery.js
 domain #域名,www.magedu.com
- regular expression #正则表达式
- hex block #16进制

6)多个ACL的组合调用方式

多个ACL的逻辑处理

与:隐式(默认)使用
或:使用“or" 或 “||"表示
否定:使用 "!" 表示

多个ACL调用方式:

#示例:
if valid_src valid_port #与关系,ACL中A和B都要满足为true,默认为与
if invalid_src || invalid_port  #或,ACL中A或者B满足一个为true
if ! invalid_src #非,取反,不满足ACL才为true

2. 架构

graph LR A[HAPoxy</br>10.0.0.7] B[static-web</br>10.0.0.17] C[php-web</br>10.0.0.27] D[Client] A--->B A--->C D--->A

3. 配置

  1. HAProxy(10.0.0.7)

    • 配置/etc/haproxy/conf.d/shi.cfg
    frontend shi_http_port
        bind 10.0.0.7:80
        mode http
        balance roundrobin
        log global
        option httplog
    
    
    #acl setting
    acl acl_static path_end -i .gif .png .css .js .jpg .jpeg
    acl acl_php    path_end -i .php
    
    #acl hosts
    use_backend static_hosts if acl_static
    use_backend  php_hosts    if acl_php
    default_backend default_hosts
    
    #backend hosts
    #static服务器配置
    backend static_hosts
        mode http
        server web1 10.0.0.17 check inter 2000 fall 3 rise 5
    
    #php服务器配置
    backend php_hosts
        mode http
        server web2 10.0.0.27 check inter 2000 fall 3 rise 5
    
    #默认服务器配置
    backend default_hosts
        mode http
        server web2 10.0.0.27 check inter 2000 fall 3 rise 5 
    
    • 修改service文件
    [root@shichu haproxy]# cat /lib/systemd/system/haproxy.service 
    [Unit]
    Description=HAProxy Load Balancer
    After=syslog.target network.target
    
    [Service]
    #下面两行添加子配置文件路径/etc/haproxy/conf.d/
    ExecStartPre=/usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf.d/ -c -q
    ExecStart=/usr/sbin/haproxy -Ws -f /etc/haproxy/haproxy.cfg -f /etc/haproxy/conf.d/ -p /var/lib/haproxy/haproxy.pid
    ExecReload=/bin/kill -USR2 $MAINPID
    LimitNOFILE=100000
    
    [Install]
    WantedBy=multi-user.target
    
    
    • 重启服务
    systemctl daemon-reload
    systemctl restart haproxy
    
  2. static-web(10.0.0.17)

    • 安装nginx

    • 上传static.jpg图片至/usr/share/nginx/html/目录下

  3. php-web(10.0.0.27)

    • 安装nginx

    • 准备页面

      #index.html
      [root@shichu html]# cat index.html 
      10.0.0.27 
      
      #test.php 
      [root@shichu html]# cat test.php 
      <?php
      echo "<h1>http://10.0.0.27/test.php</h1>\n";
      ?>
      

4. 访问验证

  • 访问图片调度至static服务器(10.0.0.17)

  • 访问php类型文件调度至php服务器(10.0.0.27)

  • 访问其他类型文件调度至默认服务器(10.0.0.27)

四、haproxy https实现

haproxy可以实现https的证书安全,从用户到haproxy为https,从haproxy到后端服务器用http通信但基于性能考虑,生产中证书都是在后端服务器比如nginx上实现。

#配置HAProxy支持https协议,支持ssl会话;
	bind *:443 ssl crt /PATH/TO/SOME_PEM_FILE

#指令 crt 后证书文件为PEM格式,需要同时包含证书和所有私钥
	cat demo.key demo.crt > demo.pem

#把80端口的请求重向定443
	bind *:80
	redirect scheme https if !{ ssl_fc }

#向后端传递用户请求的协议和端口(frontend或backend)
	http_request set-header X-Forwarded-Port %[dst_port]
	http_request add-header X-Forwared-Proto https if { ssl_fc }

架构

graph LR a[client] b[HAProxy</br>10.0.0.7] c[<b>m.shichu.org</b></br>Web1</br>10.0.0.17] d[<b>www.shichu.org</b></br>Web2</br>10.0.0.27] a--https---->b--http--->c b--http--->d

配置

  1. haproxy(10.0.0.7)

    • 证书制作
    mkir -p /etc/haproxy/ssl
    cd /etc/haproxy/ssl
    openssl req -x509 -newkey rsa:2048 -subj "/CN=www.shichu.org" -keyout haproxy.key -nodes -days 365 -out haproxy.crt
    cat haproxy.crt haproxy.key > haproxy.pem
    
    • https配置
    [root@shichu conf.d]# cat www.cfg 
    frontend shi_http_port
        bind 10.0.0.7:80
        ###### https setting ######
        bind 10.0.0.7:443 ssl crt /etc/haproxy/ssl/haproxy.pem  #证书路径
        redirect scheme https if !{ ssl_fc }  #注意{  }内空格
        http-request set-header X-forwarded-Port %[dst_port]
        http-request add-header X-forwarded-Proto https if { ssl_fc }
    
        mode http
        balance roundrobin
        log global
        option httplog
    
    ###### acl setting ######
    acl mobile_domain hdr_dom(host) -i m.shichu.org
    
    ###### acl hosts ######
    use_backend mobile_hosts if mobile_domain
    default_backend pc_hosts
    
    
    ##### backend hosts  #####
    backend mobile_hosts
        mode http
        server web1 10.0.0.17:80 check inter 2000 fall 3 rise 5
    
    backend pc_hosts
        mode http
        #http-request set-header X-forwarded-Port %[dst_port]也可加在此处
        #http-request add-header X-forwarded-Proto https if { ssl_fc }  
        server web2 10.0.0.27:80 check inter 2000 fall 3 rise 5
    

    重启服务

    systemctl restart haproxy

  2. Web1(10.0.0.17 m.shichu.org)

    [root@web1 html]# cat /usr/share/nginx/html/index.html 
    m.shichu.org  10.0.0.17
    
  3. Web2(10.0.0.27 www.shichu.org)

    [root@web2 ~]# cat /usr/share/nginx/html/index.html 
    10.0.0.27 
    

访问验证

  • 访问m.shichu.org跳转至web1服务器

  • 访问www.shichu.org跳转至web2服务器

五、总结tomcat的核心组件以及根目录结构

1. 目录结构

目录 说明
bin 服务启动、停止等相关程序和文件
conf 配置文件
lib 库文件
logs 日志记录
webapps 应用程序,应用部署目录
work jsp编译后的结果文件,建议提前访问生成

2. 配置文件

文件名 说明
server.xml 主配置文件
web.xml 每个webapp只有“部署”后才能被访问,它的部署方式通常由web.xml进行定义,其存放位置为WEB-INF/目录中;此文件为所有的webapps提供默认部署相关的配置,每个web应用也可以使用专用配置文件,来覆盖全局文件
context.xml 用于定义所有web应用均需加载的Context配置,此文件为所有的webapps提供默认配置,每个web应用也可以使用自已专用的配置,它通常由专用的配置文件context.xml来定义,其存放位置为WEB-INF/目录中,覆盖全局的文件
tomcat-user.xml 用户认证的账号和密码文件
catalina.policy 当使用security选项启动tomcat时,用于为tomcat设置安全策略
catalina.properties Tomcat 环境变量的配置,用于设定类加载器路径,以及一些与JVM调优相关参数
logging.properties Tomcat 日志系统相关的配置,可以修改日志级别和日志路径等

注意:配置文件大小写敏感

3. 组件

1)Tomcat 组件分类

顶级组件

Server,代表整个Tomcat容器,一台主机可以启动多tomcat实例,需要确保端口不要产生冲突

服务类组件

Service,实现组织Engine和Connector,建立两者之间关联关系, service 里面只能包含一个Engine

连接器组件

Connector,有HTTP(默认端口8080/tcp)、HTTPS(默认端口8443/tcp)、AJP(默认端口8009/tcp)协议的连接器,AJP(Apache Jserv protocol)是一种基于TCP的二进制通讯协议。

容器类

Engine、Host(虚拟主机)、Context(上下文件,解决路径映射)都是容器类组件,可以嵌入其它组件,内部配置如何运行应用程序。

内嵌类

可以内嵌到其他组件内,valve、logger、realm、loader、manager等。以logger举例,在不同容器组件内分别定义。

集群类

listener、cluster

2)Tomcat 内部组成

名称
说明
Server 服务器,Tomcat 运行的进程实例,一个Server中可以有多个service,但通常就一个
Service 服务,用来组织Engine和Connector的对应关系,一个service中只有一个Engine
Connector 连接器,负责客户端的HTTP、HTTPS、AJP等协议连接。一个Connector只属于某一个Engine
Engine 即引擎,用来响应并处理用户请求。一个Engine上可以绑定多个Connector
Host 即虚拟主机,可以实现多虚拟主机,例如使用不同的主机头区分
Context 应用的上下文,配置特定url路径映射和目录的映射关系:url => directory

每一个组件都由一个Java“类”实现,这些组件大体可分为以下几个类型:

顶级组件:Server

服务类组件:Service

连接器组件:http, https, ajp(apache jserv protocol)

容器类:Engine, Host, Context

被嵌套类:valve, logger, realm, loader, manager, ...

集群类组件:listener, cluster, ...

3)核心组件

  • Tomcat启动一个Server进程。可以启动多个Server,即tomcat的多实例, 但一般只启动一个

  • 创建一个Service提供服务。可以创建多个Service,但一般也只创建一个

    每个Service中,是Engine和其连接器Connector的关联配置

  • 可以为这个Service提供多个连接器Connector,这些Connector使用了不同的协议,绑定了不同的端口。其作用就是处理来自客户端的不同的连接请求或响应

  • Service 内部还定义了Engine,引擎才是真正的处理请求的入口,其内部定义多个虚拟主机Host

    Engine对请求头做了分析,将请求发送给相应的虚拟主机

    如果没有匹配,数据就发往Engine上的defaultHost缺省虚拟主机

    Engine上的缺省虚拟主机可以修改

  • Host 定义虚拟主机,虚拟主机有name名称,通过名称匹配

  • Context 定义应用程序单独的路径映射和配置

4. Tomcat根目录结构

Tomcat中默认网站根目录是$CATALINA_BASE/webapps/,在Tomcat中部署主站应用程序和其他应用程序,和之前WEB服务程序不同。

在Tomcat的webapps目录中,有个非常特殊的目录ROOT,它就是网站默认根目录。

将eshop解压后的文件放到这个$CATALINA_BASE/webapps/ROOT中。
bbs解压后文件都放在$CATALINA_BASE/webapps/forum目录下。
$CATALINA_BASE/webapps下面的每个目录都对应一个Web应用,即WebApp

最终网站链接有以下对应关系

http://localhost/ 对应于eshop的应用WebApp,即$CATALINA_BASE/webapps/ROOT/目录
http://localhost/forum/ 对应于forum的应用WebApp,即$CATALINA_BASE/webapps/forum/

如果同时存在$CATALINA_BASE /webapps/ROOT/forum ,仍以$CATALINA_BASE/webapps/forum/ 优先生效;

每一个虚拟主机都可以使用appBase指令配置自己的站点目录,使用appBase目录下的ROOT目录作为主站目录。

六、tomcat实现多虚拟主机

centos7安装tomcat

yum install -y yum install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp
systemctl enable --now tomcat

修改server.xml配置文件

[root@shichu tomcat]# cat /usr/share/tomcat/conf/server.xml 
......
        <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs"
               prefix="localhost_access_log." suffix=".txt"
               pattern="%h %l %u %t &quot;%r&quot; %s %b" />

      </Host>
      <Host name="node1.shichu.org" appBase="/data/webapps1" />		#添加node1、node2两行信息
      <Host name="node2.shichu.org" appBase="/data/webapps2" />
    </Engine>
  </Service>
</Server>

为node1、node2虚拟主机准备数据

创建目录

#创建目录
mkdir -pv /data/webapps{1,2}/ROOT

准备node1页面

[root@shichu tomcat]# cat /data/webapps1/ROOT/index.jsp
<%@ page language="java" contentType="text/html; charset=UTF-8"
pageEncoding="UTF-8"%>
<!DOCTYPE html>
<html>
<head>
   <meta charset="utf-8">
   <title>node1</title>
</head>
<body>
node1
<br>
<%=request.getRequestURL()%>
</body>
</html>

准备node2页面

[root@shichu tomcat]# cat /data/webapps2/ROOT/index.jsp
<%@ page language="java" contentType="text/html; charset=UTF-8"
pageEncoding="UTF-8"%>
<!DOCTYPE html>
<html>
<head>
   <meta charset="utf-8">
   <title>node2</title>
</head>
<body>
node2
<br>
<%=request.getRequestURL()%>
</body>
</html>

设置权限

chown -R tomcat:tomcat /data/webapps{1,2}/

重启tomcat

systemctl restart tomcat

验证

多虚拟主机配置说明

name 必须是主机名,用主机名来匹配
appBase 当前主机的网页根目录,是相对于 $CATALINA_HOME ,也可以使用绝对路径
unpackWARs 是否自动解压war格式
autoDeploy 热部署,自动加载并运行应用

七、nginx实现后端tomcat的负载均衡调度

架构

graph LR a[client] b[proxy.com</br>Nginx</br>10.0.0.100] c[tomcat1.com</br>Tomcat</br>10.0.0.17] d[tomcat2.com</br>Tomcat</br>10.0.0.27] a--->b b---->c b---->d

配置

  1. proxy(10.0.0.100)

    • 安装nginx

      yum install -y nginx

    • 修改hosts

      [root@proxy ~]# cat /etc/hosts
      #添加如下3行
      10.0.0.100  proxy.com
      10.0.0.17   tomcat1.com
      10.0.0.27   tomcat2.com
      
    • 修改/etc/nginx/nginx.conf

       
      http {
      #http块中添加upstream
      #修改server块内容
      ...
          upstream tomcat-server {
      	#ip_hash;
      	#hash $cookie_JSESSIONID;
              server tomcat1.com:8080;
              server tomcat2.com:8080;
          }
          server {
          ...
              location ~* \.(jsp|do)$ {
                  proxy_pass http://tomcat-server;
              }
          ...
          }
      ...
      }
      
    • 重启nginx

      nginx -s reload

  2. tomcat1(10.0.0.17)

    • 安装tomcat

      yum install -y yum install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp
      systemctl enable --now tomcat
      
    • 修改server.xml

      [root@t1 tomcat]# cat /usr/share/tomcat/conf/server.xml      
      ...
      #defaultHost修改为tomcat1.com
          <Engine name="Catalina" defaultHost="tomcat1.com"> 
      ...
            </Host>
      #添加如下一行
            <Host name="tomcat1.com" appBase="/data/webapps" autoDeploy="true" />
          </Engine>
        </Service>
      </Server>
      
      
    • 准备tomcat1.com页面

      [root@t1 tomcat]# cat /data/webapps/ROOT/index.jsp 
      <%@ page import="java.util.*" %>
      <!DOCTYPE html>
      <html lang="en">
      <head>
          <meta charset="UTF-8">
          <title>tomcat test</title>
      </head>
      <body>
      <div>On <%=request.getServerName() %></div>
      <div><%=request.getLocalAddr() + ":" + request.getLocalPort() %></div>
      <div>SessionID = <span style="color:blue"><%=session.getId() %></span></div>
      <%=new Date()%>
      </body>
      </html>
      
    • 重启tomat

      systemctl restart tomcat

  3. tomcat2(10.0.0.27)

    • 安装tomcat

      yum install -y yum install tomcat tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp
      systemctl enable --now tomcat
      
    • 修改server.xml

      [root@t1 tomcat]# cat /usr/share/tomcat/conf/server.xml    
      ...
      #defaultHost修改为tomcat2.com
          <Engine name="Catalina" defaultHost="tomcat2.com"> 
      ...
            </Host>
      #添加如下一行
            <Host name="tomcat1.com" appBase="/data/webapps" autoDeploy="true" />
          </Engine>
        </Service>
      </Server>
      
      
    • 准备tomcat2.com页面

      [root@t1 tomcat]# cat /data/webapps/ROOT/index.jsp 
      <%@ page import="java.util.*" %>
      <!DOCTYPE html>
      <html lang="en">
      <head>
          <meta charset="UTF-8">
          <title>tomcat test</title>
      </head>
      <body>
      <div>On <%=request.getServerName() %></div>
      <div><%=request.getLocalAddr() + ":" + request.getLocalPort() %></div>
      <div>SessionID = <span style="color:blue"><%=session.getId() %></span></div>
      <%=new Date()%>
      </body>
      </html>
      
    • 重启tomat

      systemctl restart tomcat

验证

八、简述memcached的工作原理

Memcached 官网:http://memcached.org/

1. 说明

MemCache是一个高性能的分布式的内存对象缓存系统,用于各种动态应用以减轻数据库负担。它通过在内存中缓存数据和对象,来减少读取数据库的次数,从而提高动态、数据库驱动应用速度。MemCache会在内存中开辟一块空间,建立一个统一的巨大的hash表,hash表能够用来存储各种格式的数据,包括图像、视频、文件以及数据库检索的结果等。

  • Memcached 只支持能序列化的数据类型,不支持持久化,基于Key-Value的内存缓存系统
  • memcached 虽然没有像redis所具备的数据持久化功能,比如RDB和AOF都没有,但是可以通过做集群同步的方式,让各memcached服务器的数据进行同步,从而实现数据的一致性,即保证各memcached的数据是一样的,即使有任何一台 memcached 发生故障,只要集群中有一台 memcached 可用就不会出现数据丢失,当其他memcached 重新加入到集群的时候,可以自动从有数据的memcached 当中自动获取数据并提供服务。
  • Memcached 借助了操作系统的 libevent 工具做高效的读写。libevent是个程序库,它将Linux的epoll、BSD类操作系统的kqueue等事件处理功能封装成统一的接口。即使对服务器的连接数增加,也能发挥高性能。memcached使用这个libevent库,因此能在Linux、BSD、Solaris等操作系统上发挥其高性能。
  • Memcached 支持最大的内存存储对象为1M,超过1M的数据可以使用客户端压缩或拆分报包放到多个key中,比较大的数据在进行读取的时候需要消耗的时间比较长,memcached 最适合保存用户的session实现session共享。
  • Memcached存储数据时, Memcached会去申请1MB的内存, 把该块内存称为一个slab, 也称为一个page
  • Memcached 支持多种开发语言,包括:JAVA,C,Python,PHP,C#,Ruby,Perl等

2. 工作原理

MemCached采用了C/S架构,在Server端启动后,以守护程序的方式,监听客户端的请求。启动时可以指定监听的IP(服务器的内网ip/外网ip)、端口号(所以做分布式测试时,一台服务器上可以启动多个不同端口号的MemCached进程)、使用的内存大小等关键参数。一旦启动,服务就会一直处于可用状态。
为了提高性能,MemCached缓存的数据全部存储在MemCached管理的内存中,所以重启服务器之后缓存数据会清空,不支持持久化。

3. 工作机制

1) 内存分配机制

应用程序运行需要使用内存存储数据,但对于一个缓存系统来说,申请内存、释放内存将十分频繁,非常容易导致大量内存碎片,最后导致无连续可用内存可用。

Memcached采用了Slab Allocator机制来分配、管理内存。

  • Page:分配给Slab的内存空间,默认为1MB,分配后就得到一个Slab。Slab分配之后内存按照固定字节大小等分成chunk。

  • Chunk:用于缓存记录k/v值的内存空间。Memcached会根据数据大小选择存到哪一个chunk中,假设chunk有128bytes、64bytes等多种,数据只有100bytes存储在128bytes中,存在少许浪费。

    Chunk最大就是Page的大小,即一个Page中就一个Chunk

  • Slab Class:Slab按照Chunk的大小分组,就组成不同的Slab Class, 第一个Chunk大小为 96B的Slab为Class1,Chunk 120B为Class 2,如果有100bytes要存,那么Memcached会选择下图中SlabClass 2 存储,因为它是120bytes的Chunk。Slab之间的差异可以使用Growth Factor 控制,默认1.25。

2)懒过期 Lazy Expiration

memcached不会监视数据是否过期,而是在取数据时才看是否过期,如果过期,把数据有效期限标识为0,并不清除该数据。以后可以覆盖该位置存储其它数据。

3)LRU

当内存不足时,memcached会使用LRU(Least Recently Used)机制来查找可用空间,分配给新记录使用。

4)集群

Memcached集群,称为基于客户端的分布式集群,即由客户端实现集群功能,即Memcached本身不支持集群。

Memcached集群内部并不互相通信,一切都需要客户端连接到Memcached服务器后自行组织这些节点,并决定数据存储的节点。

九、总结tomcat优化方法

1. 内存空间优化

JAVA_OPTS="-server -Xms4g -Xmx4g -XX:NewSize= -XX:MaxNewSize= "

-server:服务器模式
-Xms:堆内存初始化大小
-Xmx:堆内存空间上限
-XX:NewSize=:新生代空间初始化大小
-XX:MaxNewSize=:新生代空间最大值

示例

[root@centos7 ~]#vim /usr/local/tomcat/bin/catalina.sh
JAVA_OPTS="-server -Xms4g -Xmx4g -Xss512k -Xmn1g -

XX:CMSInitiatingOccupancyFraction=65 -XX:+AggressiveOpts -XX:+UseBiasedLocking -
XX:+DisableExplicitGC -XX:MaxTenuringThreshold=10 -XX:NewRatio=2 -
XX:PermSize=128m -XX:MaxPermSize=512m -XX:CMSFullGCsBeforeCompaction=5 -
XX:+ExplicitGCInvokesConcurrent -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -
XX:+CMSParallelRemarkEnabled -XX:+UseCMSCompactAtFullCollection -
XX:LargePageSizeInBytes=128m -XX:+UseFastAccessorMethods"

#一台tomcat服务器并发连接数不高,生产建议分配物理内存通常4G到8G较多,如果需要更多连接,一般会利用虚拟化技术实现多台tomcat

2. 线程池调整

[root@centos7 ~]#vim /usr/local/tomcat/conf/server.xml
......
<Connector port="8080" protocol="HTTP/1.1"  connectionTimeout="20000"
redirectPort="8443" />
......

常用属性:

  • connectionTimeout :连接超时时长,单位ms

  • maxThreads:最大线程数,默认200

  • minSpareThreads:最小空闲线程数

  • maxSpareThreads:最大空闲线程数

  • acceptCount:当启动线程满了之后,等待队列的最大长度,默认100

  • URIEncoding:URI 地址编码格式,建议使用 UTF-8

  • enableLookups:是否启用客户端主机名的DNS反向解析,缺省禁用,建议禁用,就使用客户端IP

    就行

  • compression:是否启用传输压缩机制,建议 "on",CPU和流量的平衡

    • compressionMinSize:启用压缩传输的数据流最小值,单位是字节
    • compressableMimeType:定义启用压缩功能的MIME类型text/html, text/xml, text/css,text/javascript

3. Java压力测试工具

PerfMa 致力于打造一站式IT系统稳定性保障解决方案,专注于性能评测与调优、故障根因定位与解决,为企业提供一系列技术产品与专家服务,提升系统研发与运行质量。

官网:https://www.perfma.com/

社区地址:https://heapdump.cn/

十、java程序出现oom如何解决?什么场景下会出现oom?

JProfiler官网:http://www.ej-technologies.com/products/jprofiler/overview.html

JProfiler是一款功能强大的Java开发分析工具,它可以快速的帮助用户分析出存在的错误,软件还可对需要的显示类进行标记,包括了内存的分配情况和信息的视图等。

1. 堆内存不足

报错信息

java.lang.OutOfMemoryError: Java heap space

原因

  • 1、代码中可能存在大对象分配
  • 2、可能存在内存泄露,导致在多次GC之后,还是无法找到一块足够大的内存容纳当前对象。

解决方法

  • 1、检查是否存在大对象的分配,最有可能的是大数组分配
  • 2、通过jmap命令,把堆内存dump下来,使用mat工具分析一下,检查是否存在内存泄露的问题
  • 3、如果没有找到明显的内存泄露,使用 -Xmx 加大堆内存
  • 4、还有一点容易被忽略,检查是否有大量的自定义的 Finalizable 对象,也有可能是框架内部提供的,考虑其存在的必要性

2. 永久代/元空间溢出

报错信息

java.lang.OutOfMemoryError: PermGen space
java.lang.OutOfMemoryError: Metaspace

原因

永久代是 HotSot 虚拟机对方法区的具体实现,存放了被虚拟机加载的类信息、常量、静态变量、JIT编译后的代码等。

JDK8后,元空间替换了永久代,元空间使用的是本地内存,还有其它细节变化:

  • 1、字符串常量由永久代转移到堆中
  • 2、和永久代相关的JVM参数已移除

出现永久代或元空间的溢出的原因可能有如下几种:

  • 1、在Java7之前,频繁的错误使用String.intern方法
  • 2、生成了大量的代理类,导致方法区被撑爆,无法卸载
  • 3、应用长时间运行,没有重启

解决方法

永久代/元空间 溢出的原因比较简单,解决方法有如下几种:

  • 1、检查是否永久代空间或者元空间设置的过小
  • 2、检查代码中是否存在大量的反射操作
  • 3、dump之后通过mat检查是否存在大量由于反射生成的代理类
  • 4、放大招,重启JVM

3. GC overhead limit exceeded

报错信息

java.lang.OutOfMemoryError:GC overhead limit exceeded

原因
这个是JDK6新加的错误类型,一般都是堆太小导致的。
Sun 官方对此的定义:超过98%的时间用来做GC并且回收了不到2%的堆内存时会抛出此异常。

解决方法

  • 1、检查项目中是否有大量的死循环或有使用大内存的代码,优化代码。
  • 2、添加参数-XX:-UseGCOverheadLimit 禁用这个检查,其实这个参数解决不了内存问题,只是把错误的信息延后,最终出现 java.lang.OutOfMemoryError: Java heap space。
  • 3、dump内存,检查是否存在内存泄露,如果没有,加大内存。

4. 方法栈溢出

报错信息

java.lang.OutOfMemoryError : unable to create new native Thread

原因
出现这种异常,基本上都是创建的了大量的线程导致的。

解决方法

  • 1、通过 *-Xss *降低的每个线程栈大小的容量

  • 2、线程总数也受到系统空闲内存和操作系统的限制,检查是否该系统下有此限制:

    /proc/sys/kernel/pid_max
    /proc/sys/kernel/thread-max
    max_user_process(ulimit -u)
    /proc/sys/vm/max_map_count

5. 非常规溢出

1)分配超大数组

报错信息

java.lang.OutOfMemoryError: Requested array size exceeds VM limit

原因
这种情况一般是由于不合理的数组分配请求导致的,在为数组分配内存之前,JVM 会执行一项检查。要分配的数组在该平台是否可以寻址(addressable),如果不能寻址(addressable)就会抛出这个错误。

解决方法

检查你的代码中是否有创建超大数组的地方。

2)swap区溢出

报错信息

java.lang.OutOfMemoryError: Out of swap space

原因
这种情况一般是操作系统导致的,可能的原因有:

  • 1、swap 分区大小分配不足;
  • 2、其他进程消耗了所有的内存。

解决方法

  • 1、其它服务进程可以选择性的拆分出去
  • 2、加大swap分区大小,或者加大机器内存大小

标签:HAProxy,haproxy,http,tomcat,Tomcat,10.0,server,80
来源: https://www.cnblogs.com/areke/p/16449200.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有