Nginx map 实现时间格式转换

  • Nginx map 实现时间格式转换已关闭评论
  • 66 次浏览
  • A+
所属分类:linux技术
摘要

哈喽大家好,我是咸鱼最近我们需要把 Nginx 的日志接入到自研的日志采集平台上,但是这个平台只支持 JSON 格式,所以需要把 Nginx 日志格式改成 JSON 格式

哈喽大家好,我是咸鱼

最近我们需要把 Nginx 的日志接入到自研的日志采集平台上,但是这个平台只支持 JSON 格式,所以需要把 Nginx 日志格式改成 JSON 格式

例如下面这样的效果
Nginx map 实现时间格式转换
刚开始在主配置文件 nginx.conf 中定义了一个名叫 json 的日志格式字段
Nginx map 实现时间格式转换
验证的时候其他内容没啥问题,但是时间是2023-09-12T13:54:22+08:00 这样子的,不太符合预期

Nginx map 实现时间格式转换
咸鱼想着把 $time_iso8601 变量中的年月日时分秒分别提取出来然后用变量去接受它,如下所示:

我自定义了一个时间格式 $year-$month-$day $hour:$minutes:$seconds:000,然后接着用了一个 if 语句用于检查请求的时间是否匹配 ISO8601 时间格式(例如:2023-09-12T13:54:22+08:00

如果匹配,它将执行其中的代码块。在代码块中,使用正则表达式提取时间的年、月、日、小时、分钟和秒,并将它们赋值给变量 $year$month$day$hour$minutes$seconds

    log_format json '{  "SYS_NO":"my_nginx",                         "OS_TIME":"$year-$month-$day $hour:$minutes:$seconds",                         "LOG_TYPE":"",                         "RESULT":"$status",                         "SPENT_TIME":"$request_time",                         "CLIENT_IP":"$remote_addr",                         "SERVER_IP":"$server_addr",                         "O_CHANNEL":"$http_user_agent",                         "UID":"$http_host",                         "VALUE1":$body_bytes_sent,                         "INFO1":"$http_referer", 					}'; 	  if ($time_iso8601 ~ "^(d{4})-(d{2})-(d{2})T(d{2}):(d{2}):(d{2})") {                         set $year $1;                         set $month $2;                         set $day $3;                         set $hour $4;                         set $minutes $5;                         set $seconds $6;                         } 

但是 nginx -t 检测的时候我发现 if 语句不能够放在 http 块内,否则会报错

在 Nginx 中,if 语句主要用于在 serverlocation 块内设置条件,以便根据请求的属性来执行不同的配置。if 语句通常应该包含在 serverlocation 块内,而不是直接放在 http 块中

如果将 if 语句放在一个一个 server 块中,这不得累死我(有很多个 server 块),而且后期维护也不方便

所以如何将自定义变量在全局配置中生效则成为了一个问题

map

map 指令是由 ngx_http_map_module 模块提供的,是 Nginx 配置文件中的一种用于创建变量映射的指令

模块链接:Module ngx_http_map_module (nginx.org)

它允许我们将一个或多个输入值映射到一个输出值,类似于字典或哈希表的概念。map 指令通常用于根据特定条件为请求设置自定义变量,或者执行基于请求属性的条件控制

比较常见的 map 用法是通过 map 来实现允许多个域名跨域访问的问题

语法如下:

map $variable $new_variable {     value1   result1;     value2   result2;     ...     default  default_result; } 

其中:

  • $variable 输入变量,通常是 nginx 的内置变量。
  • $new_variable 输出变量,它将根据输入值的映射设置为特定的结果。
  • value1, value2, ... 输入值,可以列出多个值。
  • result1, result2, ... 与相应输入值相关联的输出结果。
  • default 一个可选项,表示如果没有匹配的输入值,将使用默认结果

需要注意的是,map 只能放在 http 块中

有了 map,我们就可以轻易的把 $time_iso8601 变量中的 ISO 8601 格式的时间戳转换为指定的时间格式,然后存储到自定义变量 $log_time

# nginx.conf 	map $time_iso8601 $log_time {         default "";         "~^(?<year>d{4})-(?<month>d{2})-(?<day>d{2})T(?<hour>d{2}):(?<minutes>d{2}):(?<seconds>d{2})" "${year}-${month}-${day} ${hour}:${minutes}:${seconds}";     } 

我们可以看到:

  • 输入变量为 $time_iso8601,输出变量为 $log_time
  • default "":如果没有匹配任何条件,将使用空字符串作为 $log_time 的值
  • "~^(?<year>d{4})-(?<month>d{2})-(?<day>d{2})T(?<hour>d{2}):(?<minutes>d{2}):(?<seconds>d{2})":这是一个正则表达式条件,它用于匹配 ISO 8601 格式的时间戳。该正则表达式包含了多个捕获组(使用 ?<name> 语法),用于从时间戳中提取年、月、日、小时、分钟和秒的值
  • "${year}-${month}-${day} ${hour}:${minutes}:${seconds}":这是与正则表达式条件匹配时设置的输出值。当正则表达式条件匹配时,它会将捕获组中提取的年、月、日、小时、分钟和秒的值组合成一个自定义的时间格式,然后将该值设置为 $log_time 变量的值

例如,如果 $time_iso8601 的值是 "2023-09-09T14:30:00",则 $log_time 将被设置为 "2023-09-09 14:30:00"

然后我们再把 $log_time 放进我们自定义的日志格式里面,完整配置如下

    log_format json '{  "SYS_NO":"my_nginx",                         "OS_TIME":"$log_time",                         "LOG_TYPE":"",                         "RESULT":"$status",                         "SPENT_TIME":"$request_time",                         "CLIENT_IP":"$remote_addr",                         "SERVER_IP":"$server_addr",                         "O_CHANNEL":"$http_user_agent",                         "UID":"$http_host",                         "VALUE1":$body_bytes_sent,                         "INFO1":"$http_referer", 		}'; 					 	map $time_iso8601 $log_time {     	default "";         "~^(?<year>d{4})-(?<month>d{2})-(?<day>d{2})T(?<hour>d{2}):(?<minutes>d{2}):(?<seconds>d{2})" "${year}-${month}-${day} ${hour}:${minutes}:${seconds}";     } 

最后我们验证一下
Nginx map 实现时间格式转换