当前位置:首页 > 技术文章 > 正文内容

Gateway网关在url参数带有特殊字符的情况下转发失败(响应400)

arlanguage3个月前 (01-26)技术文章25

本文主要分享了,SpringCloud Gateway网关在url参数带有空格或者特殊字符的情况下,转发失败导致响应错误码400的解决方案。

响应400错误码的2种场景:

1.参数带空格,Gateway会误认为该空格是切割符,如?phone= 135****6862&type=44,不能正常解析协议,直接异常

2.参数带特殊字符,如?phone=|135****6862&type=44,能正常解析协议,但转发后异常

一、问题分析

1.可用性<99的问题接口:

质量组反馈的可用性文档中,显示错误码(4xx)特别多,如下图

2.排查:

根据错误码匹配应用日志,未发现异常日志

根据错误码匹配Gateway网关日志,未发现异常日志

根据错误码匹配nginx日志,发现异常日志(基本都是响应400错误码)

{
	"clientip": "100.xxx.xxx.250",
	"timestamp": "2024-01-03T00:52:10+08:00",
	"request_method": "POST",
	"response": "400",
	"byte": "131",
	"uri": "/api/xxx/xxx/smsCode",
	"param": "phone= 135****6862&type=44",
	"referrer": "-",
	"agent": "Mozilla/5.0 (Linux; U; Android 4.4.1; zh-cn; R815T Build/JOP40D) AppleWebKit/533.1 (KHTML, like Gecko)Version/4.0 MQQBrowser/4.5 Mobile Safari/533.1",
	"httpx_for": "221.xx.xx.60",
	"http_host": "domain.com",
	"upstream_addr": "172.xxx.xxx.123:8280",
	"request_time": "0.011",
	"upstream_response_time": "0.010",
	"ssl_protocol": "-"
}

3.分析:

是由于请求参数带了空格(phone= 135****6862&type=44)导致(该空格非前端正常传参误操作,是恶意请求),初步怀疑是nginx转发问题,因为网关未找到任何日志。经运维同事协助排查,发现是Gateway网关响应的400错误码,没有日志是因为日志级别没有设置到debug,所以未打印。

4.排查与复现:

问题复现测试用例

断点排查发现经过代码
HttpObjectDecoder.splitInitialLine后将sb内容切割为一个3个元素的数组,切割规则中空格就是其中一个切割符。

注意:这里不能使用hutool http工具请求,因为会对url进行urlencode,无法复现效果

sb样本为:

GET http://localhost:8280/api/xxx/xxx/smsCode?phone= 135****6862 HTTP/1.1

数组样本为:

["GET","http://localhost:8280/api/xxx/xxx/smsCode?phone=","135****6862 HTTP/1.1"]

后续代码中取第三个元素‘135****6862 HTTP/1.1’作为http协议转换导致异常,所以响应400

二、解决方案

1.思路:

想办法改写
HttpObjectDecoder.splitInitialLine的逻辑,上述情况数组样本为:

["GET","http://localhost:8280/api/xxx/xxx/smsCode?phone=135****6862","HTTP/1.1"]

2.实现:

经网络资料查询,可以通过以下代码在Netty ChannelPipeline中添加ChannelHandler

经源码分析,ChannelPipeline会有默认的http处理器NettyPipeline.HttpCodec(其实现类为HttpServerCodec),而
HttpObjectDecoder.splitInitialLine的逻辑就是通过HttpServerCodec实现类来调用的

所以,想办法替换NettyPipeline.HttpCodec的实现类即可

复制框架源码HttpObjectDecoder、HttpRequestDecoder、HttpServerCodec至项目目录中(重命名加前缀Custom),如下图

将这3个类(Custom*)中用到HttpObjectDecoder、HttpRequestDecoder、HttpServerCodec的地方,全部修改为加Custom前缀的类,如

修改
CustomHttpObjectDecoder.splitInitialLine的逻辑

核心思想:将sb按切割符切割出所有元素,数组组装逻辑改为取第一个、取最后一个、中间部分拼接在一起

sb样本为:

GET http://localhost:8280/api/xxx/xxx/smsCode?phone= 135****6862 HTTP/1.1

list样本为:

["GET","http://localhost:8280/api/xxx/xxx/smsCode?phone=","135****6862","HTTP/1.1"]

数组样本为:

["GET","http://localhost:8280/api/xxx/xxx/smsCode?phone=135****6862","HTTP/1.1"]

保险起见(非必要逻辑):

1)在异常情况下执行旧逻辑

2)增加开关控制(可通过apollo动态修改)

3.url带特殊字符处理:

某些情况下,参数带特殊字符,如下,Gateway也会响应400

http://localhost:8280/api/xxx/xxx/smsCode?phone=|135****6862

http://localhost:8280/api/xxx/xxx/smsCode?phone=?135****6862

解决方案是增加UrlParamHandler,获取url对其参数做urlencode

注意:hutool工具的URLUtil.encodeQuery会对一些RSA加密的+转换为空格,需要用URLUtil.encodeAll或者java原生java.net.URLEncoder,这2个又会把所有的路径参数、=、?之类的也转换,所以下面写了个复杂的逻辑去获取参数值,仅参数值做urlencode


怎么样?如果你觉得有用的话,还不快快收藏起来!!!


附:涉及的代码目录

github: https://github.com/897665787/springcloud-template

gitee:https://gitee.com/jq_di/springcloud-template

springcloud-template
└── template-gateway
     └── netty -- 日志配置
          └── CustomHttpObjectDecoder -- 复制于源码
          └── CustomHttpRequestDecoder -- 复制于源码
          └── CustomHttpServerCodec -- 复制于源码
          └── NettyWebServerCustomizer -- 配置初始化
          └── UrlParamHandler -- 使用urlencode替换特殊字符

扫描二维码推送至手机访问。

版权声明:本文由AR编程网发布,如需转载请注明出处。

本文链接:http://www.arlanguage.com/post/1147.html

分享给朋友:

“Gateway网关在url参数带有特殊字符的情况下转发失败(响应400)” 的相关文章

【Nginx】Nginx 4种常见配置实例 nginx常用配置

本文主要介绍nginx 4种常见的配置实例。Nginx实现反向代理;Nginx实现负载均衡;Nginx实现动静分离;Nginx实现高可用集群;Nginx 4种常见配置实例如下:一、Nginx反向代理配置实例1.1 目标访问http://ip,访问到的是Tomcat的主页面http://ip:8080...

Nginx动静分离简单实现示例讲解

简述本文主要介绍如何实现Nginx动静分离。动静分离动静分离是根据一定规则把静态文件(html、css、js、jpg等)和动态文件(jsp,.do等)区分开来,采用静态文件和动态文件分开部署,以提高用户访问静态文件的速度,降低对后台应用的访问,提高服务器响应速度和性能。静态文件由Nginx服务器处理...

使用nginx对视频、音频、图片等静态资源网址,加token签权

目前很多静态资源,都可以无权限验证,进行访问或转发,对有价值的资源进行签权,限制转发无法在代码中实现拦截,我们可以使用nginx对视频、音频、图片等静态资源网址,加token签权如:http://192.168.1.22/123.mp3http://192.168.1.22/123.m3u8http...

到 2024 年了,全球仍有 76.4% 的网站在用「已死」的 PHP!

如今资历稍长的程序员,提到 PHP 可能都会联想到一个梗:“PHP 是最好的语言。”这个梗并非出自别处,正源自于 PHP 自己的官方文档:早在 2001 年 7 月,PHP 文档中就有一句“PHP is the best language for web programming(PHP 是世界上最好...

Nginx缓存设置教程

这篇文章主要介绍了Nginx缓存设置案例详解,本篇文章通过简要的案例,讲解了该项技术的了解与使用,以下就是详细内容,需要的朋友可以参考下在开发调试web的时候,经常会碰到因浏览器缓存(cache)而经常要去清空缓存或者强制刷新来测试的烦恼,提供下apache不缓存配置和nginx不缓存配置的设置。在...

nginx出现大量499响应码怎么办?

一、问题现象监控发现Nginx服务日志中出现较多的499状态码,499状态码在Nginx中代表的是客户端在服务端返回之前主动断开了连接,由于客户端设置的超时时间为2s,故到达2s未收到服务端响应客户端主动断开了连接造成了499响应码。二、可能的故障点服务器的问题,例如CPU使用率高,队列堵塞,导致无...