立Flag学习Ng日志切割
立Flag 学习Ng - 日志切割
内容： 日志配置参数 日志切割 日志切割
先来看日志格式化
Nginx 有一个非常灵活的日志记录模式。每个级别的配置可以有各自独立的访问日志。日志格式通过 log_format命令来定义。 ngx_http_log_module 是用来定义请求日志格式的。
下面的内容其实在上一篇中的配置项中都有，这里属于专题学习 日志相关配置项（指令）access_logaccess_log path [format [buffer=size [flush=time]]]; access_log path format gzip[=level] [buffer=size] [flush=time]; access_log syslog:server=address[,parameter=value] [format]; access_log off; gzip 压缩等级 buffer 设置内存缓存区大小。 flush 保存在缓存区中的最长时间
默认值: access_log logs/access.log combined;
配置段: http, server, location, if in location, limit_except
不记录日志： access_log off;
使用默认 combined 格式记录日志： access_log logs/access.log # 或 access_log logs/access.log combined; log_formatlog_format name string …; name 表示格式名称 string 表示等义的格式
默认值 log_format combined ＂…＂ ;
配置段: http
log_format 有一个默认的无需设置的 combined 日志格式，相当于apache 的 combined 日志格式，如下所示： log_format combined ＂$remote_addr - $remote_user [$time_local] ＂ ＂ ＂$request＂ $status $body_bytes_sent ＂ ＂ ＂$http_referer＂ ＂$http_user_agent＂ ＂;
如果 nginx 位于负载均衡器， squid， nginx 反向代理之后， web 服务器无法直接获取到客户端真实的 IP 地址了。$remote_addr 获取反向代理的 IP 地址。反向代理服务器在转发请求的 http 头信息中，可以增加 X-ForwardedFor 信息，用来记录 客户端 IP 地址和客户端请求的服务器地址。 如下所示： log_format porxy ＂$http_x_forwarded_for - $remote_user [$time_local] ＂ ＂ ＂$request＂ $status $body_bytes_sent ＂ ＂ ＂$http_referer＂ ＂$http_user_agent＂ ＂;
日志格式允许包含的变量注释如下： $remote_addr, $http_x_forwarded_for 记录客户端 IP 地址 $remote_user 记录客户端用户名称 $request 记录请求的 URL 和 HTTP 协议 $status 记录请求状态 $body_bytes_sent 发送给客户端的字节数，不包括响应头的大小； 该变量与 Apache 模块 mod_log_config 里的＂%B＂参数兼容。 $bytes_sent 发送给客户端的总字节数。 $connection 连接的序列号。 $connection_requests 当前通过一个连接获得的请求数量。 $msec 日志写入时间。单位为秒，精度是毫秒。 $pipe 如果请求是通过 HTTP 流水线(pipelined)发送， pipe 值为＂p＂，否则为＂.＂。 $http_referer 记录从哪个页面链接访问过来的 $http_user_agent 记录客户端浏览器相关信息 $request_length 请求的长度（包括请求行，请求头和请求正文）。 $request_time 请求处理时间，单位为秒，精度毫秒； 从读入客户端的第一个字节开始，直到把最后一个字符发送给客户端后进行日志写入为止。 $time_iso8601 ISO8601 标准格式下的本地时间。 $time_local 通用日志格式下的本地时间。 open_log_file_cache
对于每一条日志记录，都将是先打开文件，再写入日志，然后关闭。可以使用 open_log_file_cache 来设置日志文件缓存(默认是 off)。 open_log_file_cache max=N [inactive=time] [min_uses=N] [valid=time]; open_log_file_cache off;
默认值: open_log_file_cache off;
配置段: http, server, location
参数注释如下： max:设置缓存中的最大文件描述符数量，如果缓存被占满，采用 LRU 算法将描述符关闭。 inactive:设置存活时间，默认是 10s min_uses:设置在 inactive 时间段内，日志文件最少使用多少次后，该日志文件描述符记入缓存中，默认是 1 次 valid:设置检查频率，默认 60s off：禁用缓存
示例： open_log_file_cache max=1000 inactive=20s valid=1m min_uses=2; log_subrequest
是否在 access_log 中记录子请求的访问日志。默认不记录。 log_subrequest on | off;
默认值: log_subrequest off;
配置段: http, server, location log_not_found
是否在 error_log 中记录不存在的错误。默认是。
语法: log_not_found on | off;
默认值: log_not_found on;
配置段: http, server, location rewrite_log
由 ngx_http_rewrite_module 模块提供的。用来记录重写日志的。对于调试重写规则建议开启。
启用时将在 error log 中记录 notice 级别的重写日志。
语法: rewrite_log on | off;
默认值: rewrite_log off;
配置段: http, server, location, if error_log
配置错误日志。
语法: error_log file | stderr | syslog:server=address[,parameter=value] [debug | info | notice | warn | error | crit | alert | emerg];
默认值: error_log logs/error.log error;
配置段: main, http, server, location 切割shell脚本#!/bin/bash LOGS_PATH=/usr/local/nginx/logs HISTORY_PATH=/usr/local/nginx/logs/history YESTERDAY=$(date -d ＂yesterday＂ +%Y-%m-%d) # 按照日期分割访问日志文件 mv ＂${LOGS_PATH}/access.log＂ ＂${HISTORY_PATH}/access_${YESTERDAY}.log＂ # 按照日期分割错误日志文件 mv ＂${LOGS_PATH}/error.log＂ ＂${HISTORY_PATH}/error_${YESTERDAY}.log＂ # 重新打开日志文件 kill -USR1 $(cat /usr/local/nginx/logs/nginx.pid) 添加定时任务# 将脚本文件放在 /usr/local/nginx/sbin 目录下 # 赋予执行权限 chmod +x /usr/local/nginx/sbin/log_split.sh # 设置定时任务，每天0分0点执行一次 # 添加定时任务 crontab -e 0 0 1 * * /usr/local/nginx/sbin/og_split.sh # 查看定时任务 crontab -l # 删除定时任务 # 使用下面命令打开文件，删除相应信息 crontab -e 实操
这里仅是能正常输出日志，更多的细节以后遇到的时候在进行补充（，不然Flag就完不成啦） 指定日志输出位置和输出格式 #user nobody; worker_processes 1; #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; keepalive_timeout 65; map $http_upgrade $connection_upgrade { default upgrade; ＂＂ close; } # log_format 这里注意下位置，一开始我写在了server里面，但是会报错 # 经验证需要放在外面 # 客户端ip - 客户端用户名称 - [时间] url 请求状态 发送给客户端的字节数(不包括响应头的大小) # 从哪个页面链接访问过来 客户端浏览器相关信息 log_format testformat ＂$http_x_forwarded_for - $remote_user [$time_local] ＂ ＂ ＂$request＂ $status $body_bytes_sent ＂ ＂ ＂$http_referer＂ ＂$http_user_agent＂ ＂; server { listen 80; server_name localhost; # 配置access.log 指定这个虚拟server的access日志路径 access_log /usr/local/nginx/logs/test_access.log; location / { root html; index index.html index.htm; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } }
测试访问 80 端口后查看对应路径存在test_access.log 日志。
查看日志信息 # 客户端ip - 客户端用户名称 - [时间] url 请求状态 发送给客户端的字节数(不包括响应头的大小) 从哪个页面链接访问过来 客户端浏览器相关信息 10.1.112.115 - - [12/Jan/2021:14:16:41 +0800] ＂GET / HTTP/1.1＂ 304 0 ＂-＂ ＂Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36＂
这里可以看到日志输出的信息是符合我们自定义的格式的。 编写 shell 脚本进行日志切割# 进入目录 > cd /usr/local/nginx/sbin # 创建文件 > vim test_nglog_split # 写入如下内容 #!/bin/bash LOGS_PATH=/usr/local/nginx/logs HISTORY_PATH=/usr/local/nginx/logs/history YESTERDAY=$(date -d ＂yesterday＂ +%Y-%m-%d) # 按照日期分割访问日志文件 mv ＂${LOGS_PATH}/test_access.log＂ ＂${HISTORY_PATH}/test_access${YESTERDAY}.log＂ # 按照日期分割错误日志文件 mv ＂${LOGS_PATH}/error.log＂ ＂${HISTORY_PATH}/error_${YESTERDAY}.log＂ # 重新打开日志文件 kill -USR1 $(cat /usr/local/nginx/logs/nginx.pid) # 赋予执行权限 > chmod +x /usr/local/nginx/sbin/test_nglog_split # 设置定时任务，这里为了测试就把时间周期改为每分钟执行一次 # 添加定时任务 > crontab -e */1 * * * * /usr/local/nginx/sbin/test_nglog_split # 新创建的cron job，不会马上执行，至少要过2分钟才执行。如果重启cron则马上执行 > /etc/init.d/crond restart # 进入history目录验证 > cd /usr/local/nginx/logs/history > ll -rw-r--r-- 1 nobody root 2060 Jan 12 14:45 error_2021-01-11.log -rw-r--r-- 1 nobody root 304 Jan 12 14:45 test_access2021-01-11.log # 删除测试的定时任务 > crontab -e
比较简单的应用，后面遇到更详细的场景需求如果我记得会再写一篇补充文档。（毕竟我不是做运维工作的，遇到的场景会比较少）