416 lines
18 KiB
Markdown
416 lines
18 KiB
Markdown
<h1><center>Nginx优化</center></h1>
|
||
|
||
作者：行癫（盗版必究）
|
||
|
||
------
|
||
|
||
## 一：Nginx监控
|
||
|
||
#### 1.简介
|
||
|
||
nginx 提供了 ngx_http_stub_status_module，ngx_http_reqstat_module模块，这个模块提供了基本的监控功能
|
||
|
||
#### 2.监控指标
|
||
|
||
基本指标：
|
||
|
||
Accepts（接受）、Handled（已处理）、Requests（请求数）是一直在增加的计数器
|
||
|
||
Active（活跃）、Waiting（等待）、Reading（读）、Writing（写）随着请求量而增减
|
||
|
||
Accepts：Nginx所接受的客户端连接数
|
||
|
||
Handled：成功的客户端连接数
|
||
|
||
每秒请求数 -- QPS：
|
||
|
||
通过持续的 QPS 监控，可以立刻发现是否被恶意攻击或对服务的可用性进行评估。虽然当问题发生时，通过 QPS 不能定位到确切问题的位置，但是他却可以在第一时间提醒你环境可能出问题了
|
||
|
||
请求处理时间：
|
||
|
||
请求处理时间也可以被记录在 access log 中，通过分析 access log，统计请求的平均响应时间，通过持续观察，可以发现上游服务器的问题
|
||
|
||
#### 3.指标搜集
|
||
|
||
通过在编译时加入 nginx 的 ngx_http_stub_status_module 模块我们可以实时监控以下基本的指标
|
||
|
||
检查是否安装模块：
|
||
|
||
```shell
|
||
nginx -V
|
||
```
|
||
|
||
如果没有此模块，需要重新安装，编译命令如下：
|
||
|
||
```shell
|
||
./configure –with-http_stub_status_module //其他编译参数省略
|
||
```
|
||
|
||
修改配置文件：
|
||
|
||
```shell
|
||
server {
|
||
listen 80;
|
||
server_name localhost;
|
||
location /nginx-status {
|
||
stub_status on;
|
||
access_log on;
|
||
}
|
||
}
|
||
```
|
||
|
||
获取数据：
|
||
|
||
配置完成后在浏览器中输入http://10.0.105.207/nginx-status 查看
|
||
|
||
```shell
|
||
Active connections: 2
|
||
server accepts handled requests
|
||
26 26 48
|
||
Reading: 0 Writing: 1 Waiting: 1
|
||
```
|
||
|
||
参数解释：
|
||
|
||
```shell
|
||
Active connections:2 #当前nginx处理请求的数目(活跃的连接数)
|
||
server accepts handled requests 26 26 48
|
||
nginx总共处理了26个连接，成功创建26次握手，也就是成功的连接数connection. 总共处理了48个请求
|
||
失败连接＝（总连接数－成功连接数）(相等表示中间没有失败的),
|
||
Reading ： nginx读取到客户端的Header信息数。请求头 -----速度快。
|
||
Writing ：nginx返回给客户端的Header信息数。响应头
|
||
Waiting ：开启keep-alive的情况下，意思就是Nginx说已经处理完正在等候下一次请求指令的驻留连接。
|
||
#可以nginx有多少的长连接。相当于空闲的。可以把超时时间改的短一点。 ---------监控的对象
|
||
通常，一个连接在同一时间只接受一个请求。在这种情况下，Active 连接的数目 == Waiting 的连接 + Reading 请求 + Writing
|
||
```
|
||
|
||
## 二：HTTPS技术
|
||
|
||
#### 1.简介
|
||
|
||
HTTPS（全称：HyperText Transfer Protocol over Secure Socket Layer），其实 HTTPS 并不是一个新鲜协议，Google 很早就开始启用了，初衷是为了保证数据安全。 近些年，Google、Baidu、Facebook 等这样的互联网巨头，不谋而合地开始大力推行 HTTPS， 国内外的大型互联网公司很多也都已经启用了全站 HTTPS，这也是未来互联网发展的趋势。数据在传输的过程中没有进行加密的处理，利用第三黑客软件（kali 中间人），可以进行数据的窃听/盗取（明文传输）；https 在数据传输的过程中进行加密处理，然后在去进行传输 电商 政府。
|
||
|
||
#### 2.加密算法
|
||
|
||
对称加密 ： A要给B发送数据
|
||
|
||
A做一个对称密钥
|
||
|
||
使用密钥给文件加密
|
||
|
||
发送加密以后的文件和钥匙
|
||
|
||
B拿钥匙解密
|
||
|
||
注意：加密和解密都是使用的同一个密钥
|
||
|
||
非对称加密 ---- 公钥加密，私钥解密 ：A要给B发送数据
|
||
|
||
B做一对非对称的密钥
|
||
|
||
发送公钥给A
|
||
|
||
A拿公钥对数据进行加密
|
||
|
||
发送加密后的数据给B
|
||
|
||
B拿私钥解密
|
||
|
||
总结：
|
||
|
||
Alice 在盒子里放有信息，盒子上有挂锁，她有钥匙。通过邮局她把这个盒子寄给Bob。Bob收到盒子后，用相同的钥匙打开盒子（钥匙之前就得到了，可能是Alice面对面给他的）。然后Bob可以用同样的方法回复。
|
||
|
||
Bob和Alice各有自己的盒子。Alice要跟Bob秘密通信，她先让Bob把开着的盒子通过邮局发给她。Alice拿到盒子后放入信息锁上，然后发给Bob。Bob就可以用他自己的钥匙打开了。回复的话就用同样的方法。信息接受者有两把钥匙：一把“公匙”，一把“私匙”。公匙是给信息发送者用来加密的，私匙是自己用来解密的，不必通过不安全的渠道发送私密的东西。公匙本来就是给别人用的，不用藏好。你的私匙在你产生私匙的电脑里保存着。
|
||
|
||
#### 3.算法种类
|
||
|
||
MD5、SHA-1、SHA-2、SHA-256 、SM9
|
||
|
||
#### 4.数字签名
|
||
|
||
签名就是在信息的后面再加上一段内容（信息经过hash后的值），可以证明信息没有被修改过。hash值一般都会加密后（也就是签名）再和信息一起发送，以保证这个hash值不被修改。
|
||
|
||
#### 5.https协议
|
||
|
||
HTTP 协议（HyperText Transfer Protocol，超文本传输协议）：是客户端浏览器或其他程序与Web服务器之间的应用层通信协议
|
||
|
||
HTTPS 协议：可以理解为HTTP+SSL/TLS， 即 HTTP 下加入 SSL 层，HTTPS 的安全基础是 SSL，因此加密的详细内容就需要 SSL，用于安全的 HTTP 数据传输
|
||
|
||
SSL/TLS :SSL(Secure Sockets Layer 安全套接层),及其继任者传输层安全（Transport Layer Security，TLS）是为网络通信提供安全及数据完整性的一种安全协议。TLS与SSL在传输层为数据通讯进行加密提供安全支持
|
||
|
||
SSL握手协议（SSL Handshake Protocol）：它建立在SSL记录协议之上，用于在实际的数据传输开始前，通讯双方进行身份认证、协商加密算法、交换加密密钥等。相当于连接
|
||
|
||
SSL记录协议（SSL Record Protocol）：它建立在可靠的传输协议（如TCP）之上，为高层协议提供数据封装、压缩、加密等基本功能的支持。 相当于通信
|
||
|
||
SSL协议提供的服务：
|
||
|
||
认证用户和服务器，确保数据发送到正确的客户机和服务器
|
||
|
||
加密数据以防止数据中途被窃取
|
||
|
||
维护数据的完整性，确保数据在传输过程中不被改变
|
||
|
||
## 三：HTTPS工作原理
|
||
|
||
#### 1.简介
|
||
|
||
HTTP请求过程中，客户端与服务器之间没有任何身份确认的过程，数据全部明文传输，“裸奔”在互联网上，所以容易遭到黑客的攻击
|
||
|
||
客户端发出的请求很容易被黑客截获，如果此时黑客冒充服务器，则其可返回任意信息给客户端，而不被客户端察觉
|
||
|
||
#### 2.http缺点
|
||
|
||
窃听风险：黑客可以获知通信内容
|
||
|
||
篡改风险：黑客可以修改通信内容
|
||
|
||
冒充风险：黑客可以冒充他人身份参与通信
|
||
|
||
#### 3.ssl证书
|
||
|
||
那有没有一种方式既可以安全的获取公钥，又能防止黑客冒充呢？SSL 证书（申购）
|
||
|
||
证书：.crt, .pem
|
||
私钥：.key
|
||
证书请求文件：.csr
|
||
|
||
#### 4.工作原理
|
||
|
||
<img src="https://xingdian-image.oss-cn-beijing.aliyuncs.com/xingdian-image/image-20230514231551957.png" alt="image-20230514231551957" style="zoom:80%;" />
|
||
|
||
服务器发送了一个SSL证书给客户端，SSL 证书中包含的具体内容有
|
||
|
||
证书的发布机构CA
|
||
|
||
证书的有效期
|
||
|
||
公钥
|
||
|
||
证书所有者
|
||
|
||
签名就可以理解为是钞票里面的一个防伪标签
|
||
|
||
客户端在接受到服务端发来的SSL证书时，会对证书的真伪进行校验，以浏览器为例说明如下
|
||
|
||
首先浏览器读取证书中的证书所有者、有效期等信息进行一一校验
|
||
|
||
浏览器开始查找操作系统中已内置的受信任的证书发布机构CA，与服务器发来的证书中的颁发者CA比对，校验是否为合法机构颁发
|
||
|
||
如果找不到，浏览器就会报错，说明服务器发来的证书是不可信任的
|
||
|
||
如果找到，那么浏览器就会从操作系统中取出 颁发者CA 的公钥，然后对服务器发来的证书里面的签名进行解密
|
||
|
||
浏览器使用相同的hash算法计算出服务器发来的证书的hash值，将这个计算的hash值与证书中签名做对比
|
||
|
||
对比结果一致，则证明服务器发来的证书合法，没有被冒充
|
||
|
||
此时浏览器就可以读取证书中的公钥，用于后续加密了
|
||
|
||
client与web协商对称加密算法，client生成对称加密密钥并使用web公钥加密，发送给web服务器，web服务器使用web私钥解密
|
||
|
||
使用对称加密密钥传输数据，并校验数据的完整性
|
||
|
||
所以通过发送SSL证书的形式，既解决了公钥获取问题，又解决了黑客冒充问题，一箭双雕，HTTPS加密过程也就此形成
|
||
|
||
#### 5.CA机构
|
||
|
||
CA介绍：
|
||
|
||
CA（Certificate Authority）证书颁发机构主要负责证书的颁发、管理以及归档和吊销。证书内包含了拥有证书者的姓名、地址、电子邮件帐号、公钥、证书有效期、发放证书的CA、CA的数字签名等信息。证书主要有三大功能：加密、签名、身份验证。
|
||
|
||
CA中心申请证书的流程：
|
||
|
||
web服务器,生成一对非对称加密密钥（web公钥，web私钥）
|
||
|
||
web服务器使用 web私钥 生成 web服务器的证书请求，并将证书请求发给CA服务器
|
||
|
||
CA服务器使用 CA的私钥对web 服务器的证书请求，进行数字签名得到 web服务器的数字证书，并将数字证书颁发给web服务器
|
||
|
||
client访问web服务器，请求https连接，下载web数字证书
|
||
|
||
client下载 CA数字证书（CA身份信息＋CA公钥，由上一级CA颁发，也可自签名颁发），验证 web数字证书
|
||
|
||
#### 6.https优点
|
||
|
||
所有信息都是加密传播，黑客无法窃听
|
||
|
||
具有校验机制，一旦被篡改，通信双方会立刻发现
|
||
|
||
配备身份证书，防止身份被冒充
|
||
|
||
#### 7.https缺点
|
||
|
||
SSL 证书费用很高，以及其在服务器上的部署、更新维护非常繁琐
|
||
|
||
HTTPS 降低用户访问速度（多次握手）
|
||
|
||
网站改用HTTPS 以后，由HTTP 跳转到 HTTPS 的方式增加了用户访问耗时
|
||
|
||
HTTPS 涉及到的安全算法会消耗 CPU 资源，需要增加大量机器（https访问过程需要加解密）
|
||
|
||
## 四：性能优化
|
||
|
||
#### 1.简介
|
||
|
||
当我需要进行性能优化时，说明我们服务器无法满足日益增长的业务。性能优化是一个比较大的课题，需要从以下几个方面进行探讨：当前系统结构瓶颈、了解业务模式、性能与安全。
|
||
|
||
#### 2.方向
|
||
|
||
服务器本身
|
||
|
||
服务本身
|
||
|
||
当前系统结构瓶颈：
|
||
|
||
首先需要了解的是当前系统瓶颈，用的是什么，跑的是什么业务。里面的服务是什么样子，每个服务最大支持多少并发。比如针对nginx而言，我们处理静态资源效率最高的瓶颈是多大？可以通过查看当前cpu负荷，内存使用率，进程使用率来做简单判断。还可以通过操作系统的一些工具来判断当前系统性能瓶颈，如分析对应的日志，查看请求数量；也可以通过nginx http_stub_status_module模块来查看对应的连接数，总握手次数，总请求数。也可以对线上进行压力测试，来了解当前的系统能性能，并发数，做好性能评估。
|
||
|
||
了解业务模式：
|
||
|
||
虽然我们是在做性能优化，但还是要熟悉业务，最终目的都是为业务服务的。我们要了解每一个接口业务类型是什么样的业务，比如电子商务抢购模式，这种情况平时流量会很小，但是到了抢购时间，流量一下子就会猛涨。也要了解系统层级结构，每一层在中间层做的是代理还是动静分离，还是后台进行直接服务。需要我们对业务接入层和系统层次要有一个梳理。
|
||
|
||
性能与安全：
|
||
|
||
性能与安全也是一个需要考虑的因素，往往大家注重性能忽略安全或注重安全又忽略性能。比如说我们在设计防火墙时，如果规则过于全面肯定会对性能方面有影响。如果对性能过于注重在安全方面肯定会留下很大隐患。所以大家要评估好两者的关系，把握好两者的孰重孰轻，以及整体的相关性。权衡好对应的点。
|
||
|
||
系统与nginx性能优化：
|
||
|
||
大家对相关的系统瓶颈及现状有了一定的了解之后，就可以根据影响性能方面做一个全体的评估和优化
|
||
|
||
网络（网络流量、是否有丢包，网络的稳定性都会影响用户请求）
|
||
|
||
系统（系统负载、饱和、内存使用率、系统的稳定性、硬件磁盘是否有损坏）
|
||
|
||
服务（连接优化、内核性能优化、http服务请求优化都可以在nginx中根据业务来进行设置）
|
||
|
||
程序（接口性能、处理请求速度、每个程序的执行效率）
|
||
|
||
数据库、底层服务
|
||
|
||
上面列举出来每一级都会有关联，也会影响整体性能，这里主要关注的是nginx服务这一层
|
||
|
||
#### 3.文件句柄数
|
||
|
||
在linux/unix操作系统中一切皆文件，我们的设备是文件，文件是文件，文件夹也是文件。当我们用户每发起一次请求，就会产生一个文件句柄。文件句柄可以简单的理解为文件句柄就是一个索引。文件句柄就会随着请求量的增多,进程调用频繁增加，那么产生的文件句柄也就会越多。
|
||
|
||
系统默认对文件句柄是有限制的，不可能会让一个进程无限制的调用句柄。因为系统资源是有限的，所以我们需要限制每一个服务能够使用多大的文件句柄。操作系统默认使用的文件句柄是1024个句柄。
|
||
|
||
设置方式：
|
||
|
||
系统全局性修改
|
||
|
||
用户局部性修改
|
||
|
||
进程局部性修改（服务）
|
||
|
||
系统全局性修该和用户局部性修改：
|
||
|
||
```shell
|
||
ulimit -n 65535
|
||
```
|
||
|
||
参数解释：
|
||
|
||
```shell
|
||
• -a 显示目前资源限制的设定。
|
||
• -c <core文件上限> 设定core文件的最大值，单位为区块。
|
||
• -d <数据节区大小> 程序数据节区的最大值，单位为KB。
|
||
• -f <文件大小> shell所能建立的最大文件，单位为区块。
|
||
• -H 设定资源的硬性限制，也就是管理员所设下的限制。
|
||
• -m <内存大小> 指定可使用内存的上限，单位为KB。
|
||
• -n <文件数目> 指定同一时间最多可开启的文件数。
|
||
• -p <缓冲区大小> 指定管道缓冲区的大小，单位512字节。
|
||
• -s <堆叠大小> 指定堆叠的上限，单位为KB。
|
||
• -S 设定资源的弹性限制。
|
||
• -t <CPU时间> 指定CPU使用时间的上限，单位为秒。
|
||
• -u <程序数目> 用户最多可开启的程序数目。
|
||
• -v <虚拟内存大小> 指定可使用的虚拟内存上限，单位为KB
|
||
```
|
||
|
||
#### 4.cpu亲和性
|
||
|
||
cpu的亲和能够使nginx对于不同的work工作进程绑定到不同的cpu上面去。就能够减少在work间不断切换cpu，把进程通常不会在处理器之间频繁迁移，进程迁移的频率小，来减少性能损耗
|
||
|
||
```shell
|
||
查看物理cpu
|
||
[root@nginx-server ~]# cat /proc/cpuinfo | grep "physical id" | sort|uniq | wc -l
|
||
查看cpu核心数
|
||
[root@nginx-server ~]# cat /proc/cpuinfo|grep "cpu cores"|wc -l
|
||
查看cpu使用率
|
||
[root@nginx-server ~]#top 回车后按 1
|
||
```
|
||
|
||
```shell
|
||
[root@xingdiancloud ~]# vim /etc/nginx/nginx.conf
|
||
worker_cpu_affinity auto;
|
||
```
|
||
|
||
#### 5.work_processes
|
||
|
||
```shell
|
||
[root@nginx-server ~]# vim /etc/nginx/nginx.conf
|
||
将刚才查看到自己cpu * cpu核心就是worker_processes
|
||
worker_processes 2; #根据自己cpu核心数配置/这里也可以设置为auto
|
||
```
|
||
|
||
#### 6.通用配置
|
||
|
||
```shell
|
||
#将nginx进程设置为普通用户，为了安全考虑
|
||
user nginx;
|
||
|
||
#当前启动的worker进程，官方建议是与系统核心数一致
|
||
worker_processes 2;
|
||
#方式一，就是自动分配绑定
|
||
worker_cpu_affinity auto;
|
||
|
||
#日志配置成warn
|
||
error_log /var/log/nginx/error.log warn;
|
||
pid /var/run/nginx.pid;
|
||
|
||
#针对 nginx 句柄的文件限制
|
||
worker_rlimit_nofile 35535;
|
||
#事件模型
|
||
events {
|
||
#使用epoll内核模型
|
||
use epoll;
|
||
#每一个进程可以处理多少个连接，如果是多核可以将连接数调高 worker_processes * 1024
|
||
worker_connections 10240;
|
||
}
|
||
|
||
http {
|
||
include /etc/nginx/mime.types;
|
||
default_type application/octet-stream;
|
||
|
||
charset utf-8; #设置字符集
|
||
|
||
#设置日志输出格式，根据自己的情况设置
|
||
log_format main '$http_user_agent' '$remote_addr - $remote_user [$time_local] "$request" '
|
||
'$status $body_bytes_sent "$http_referer" '
|
||
'"$http_user_agent" "$http_x_forwarded_for" '
|
||
'"$args" "$request_uri"';
|
||
|
||
access_log /var/log/nginx/access.log main;
|
||
|
||
sendfile on; #对静态资源的处理比较有效
|
||
#tcp_nopush on; #如果做静态资源服务器可以打开
|
||
#tcp_nodeny on; #当nginx做动态的服务时可以选择打开
|
||
|
||
keepalive_timeout 65;
|
||
|
||
########
|
||
#Gzip module
|
||
gzip on; #文件压缩默认可以打开
|
||
gzip_disable "MSIE [1-6]\."; #对于有些浏览器不能识别压缩，需要过滤如ie6
|
||
gzip_http_version 1.1;
|
||
|
||
include /etc/nginx/conf.d/*.conf;
|
||
}
|
||
```
|
||
|
||
|
||
|
||
|
||
|
||
|
||
|