Springboot 中InputStream 神秘消失之謎
序言
最近小明接手了前同事的代碼,意料之外、情理之中的遇到了坑。
為了避免掉入同一個(gè)坑兩次,小明決定把這個(gè)坑記下來,并在坑前立一個(gè)大牌子,避免其他小伙伴掉進(jìn)去。
HTTPClient 模擬調(diào)用
為了把這個(gè)問題說明,我們首先從最簡(jiǎn)單的 http 調(diào)用說起。
設(shè)置 body
服務(wù)端
服務(wù)端的代碼如下:
- @Controller
- @RequestMapping("/")
- public class ReqController {
- @PostMapping(value = "/body")
- @ResponseBody
- public String body(HttpServletRequest httpServletRequest) {
- try {
- String body = StreamUtil.toString(httpServletRequest.getInputStream());
- System.out.println("請(qǐng)求的 body: " + body);
- // 從參數(shù)中獲取
- return body;
- } catch (IOException e) {
- e.printStackTrace();
- return e.getMessage();
- }
- }
- }
java 客戶端要如何請(qǐng)求才能讓服務(wù)端讀取到傳遞的 body 呢?
客戶端
這個(gè)問題一定難不到你,實(shí)現(xiàn)的方式有很多種。
我們以 apache httpclient 為例:
- //post請(qǐng)求,帶集合參數(shù)
- public static String post(String url, String body) {
- try {
- // 通過HttpPost來發(fā)送post請(qǐng)求
- HttpPost httpPost = new HttpPost(url);
- StringEntity stringEntity = new StringEntity(body);
- // 通過setEntity 將我們的entity對(duì)象傳遞過去
- httpPost.setEntity(stringEntity);
- return execute(httpPost);
- } catch (UnsupportedEncodingException e) {
- throw new RuntimeException(e);
- }
- }
- //執(zhí)行請(qǐng)求返回響應(yīng)數(shù)據(jù)
- private static String execute(HttpRequestBase http) {
- try {
- CloseableHttpClient client = HttpClients.createDefault();
- // 通過client調(diào)用execute方法
- CloseableHttpResponse Response = client.execute(http);
- //獲取響應(yīng)數(shù)據(jù)
- HttpEntity entity = Response.getEntity();
- //將數(shù)據(jù)轉(zhuǎn)換成字符串
- String str = EntityUtils.toString(entity, "UTF-8");
- //關(guān)閉
- Response.close();
- return str;
- } catch (IOException e) {
- throw new RuntimeException(e);
- }
- }
可以發(fā)現(xiàn) httpclient 封裝之后還是非常方便的。
我們?cè)O(shè)置 setEntity 為對(duì)應(yīng)入?yún)⒌?StringEntity 即可。
測(cè)試
為了驗(yàn)證正確性,小明本地實(shí)現(xiàn)了一個(gè)驗(yàn)證方法。
- @Test
- public void bodyTest() {
- String url = "http://localhost:8080/body";
- String body = buildBody();
- String result = HttpClientUtils.post(url, body);
- Assert.assertEquals("body", result);
- }
- private String buildBody() {
- return "body";
- }
很輕松,小明漏出了龍王的微笑。
設(shè)置 parameter
服務(wù)端
小明又看到有一個(gè)服務(wù)端的代碼實(shí)現(xiàn)如下:
- @PostMapping(value = "/param")
- @ResponseBody
- public String param(HttpServletRequest httpServletRequest) {
- // 從參數(shù)中獲取
- String param = httpServletRequest.getParameter("id");
- System.out.println("param: " + param);
- return param;
- }
- private Map<String,String> buildParamMap() {
- Map<String,String> map = new HashMap<>();
- map.put("id", "123456");
- return map;
- }
所有的參數(shù)是通過 getParameter 方法獲取,應(yīng)該如何實(shí)現(xiàn)呢?
客戶端
這個(gè)倒也不難,小明心想。
因?yàn)橐郧昂芏啻a都是這樣實(shí)現(xiàn)的,于是 ctrl+CV 搞定了下面的代碼:
- //post請(qǐng)求,帶集合參數(shù)
- public static String post(String url, Map<String, String> paramMap) {
- List<NameValuePair> nameValuePairs = new ArrayList<>();
- for (Map.Entry<String, String> entry : paramMap.entrySet()) {
- NameValuePair pair = new BasicNameValuePair(entry.getKey(), entry.getValue());
- nameValuePairs.add(pair);
- }
- return post(url, nameValuePairs);
- }
- //post請(qǐng)求,帶集合參數(shù)
- private static String post(String url, List<NameValuePair> list) {
- try {
- // 通過HttpPost來發(fā)送post請(qǐng)求
- HttpPost httpPost = new HttpPost(url);
- // 我們發(fā)現(xiàn)Entity是一個(gè)接口,所以只能找實(shí)現(xiàn)類,發(fā)現(xiàn)實(shí)現(xiàn)類又需要一個(gè)集合,集合的泛型是NameValuePair類型
- UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(list);
- // 通過setEntity 將我們的entity對(duì)象傳遞過去
- httpPost.setEntity(formEntity);
- return execute(httpPost);
- } catch (Exception exception) {
- throw new RuntimeException(exception);
- }
- }
如此是最常用的 paramMap,便于構(gòu)建;和具體的實(shí)現(xiàn)方式脫離,也便于后期拓展。
servlet 標(biāo)準(zhǔn)
UrlEncodedFormEntity 看似平平無奇,表示這是一個(gè) post 表單請(qǐng)求。
里面還涉及到 servlet 3.1 的一個(gè)標(biāo)準(zhǔn),必須滿足下面的標(biāo)準(zhǔn),post 表單的 parameter 集合才可用。
1. 請(qǐng)求是 http 或 https
2. 請(qǐng)求的方法是 POST
3. content type 為: application/x-www-form-urlencoded
4. servlet 已經(jīng)在 request 對(duì)象上調(diào)用了相關(guān)的 getParameter 方法。
當(dāng)以上條件不滿足時(shí),POST 表單的數(shù)據(jù)并不會(huì)設(shè)置到 parameter 集合中,但依然可以通過 request 對(duì)象的 inputstream 來獲取。
當(dāng)以上條件滿足時(shí),POST 表單的數(shù)據(jù)在 request 對(duì)象的 inputstream 將不再可用了。
這是很重要的一個(gè)約定,導(dǎo)致很多小伙伴比較蒙圈。
測(cè)試
于是,小明也寫好了對(duì)應(yīng)的測(cè)試用例:
- @Test
- public void paramTest() {
- String url = "http://localhost:8080/param";
- Map<String,String> map = buildParamMap();
- String result = HttpClientUtils.post(url, map);
- Assert.assertEquals("123456", result);
- }
小明想著,卻不由得眉頭一皺,發(fā)現(xiàn)事情并不簡(jiǎn)單。
設(shè)置 parameter 和 body
服務(wù)端
有一個(gè)請(qǐng)求的入?yún)⑹潜容^大,所以放在 body 中,其他參數(shù)依然放在 paramter 中。
- @PostMapping(value = "/paramAndBody")
- @ResponseBody
- public String paramAndBody(HttpServletRequest httpServletRequest) {
- try {
- // 從參數(shù)中獲取
- String param = httpServletRequest.getParameter("id");
- System.out.println("param: " + param);
- String body = StreamUtil.toString(httpServletRequest.getInputStream());
- System.out.println("請(qǐng)求的 body: " + body);
- // 從參數(shù)中獲取
- return param+"-"+body;
- } catch (IOException e) {
- e.printStackTrace();
- return e.getMessage();
- }
- }
其中 StreamUtil#toString 是一個(gè)對(duì)流簡(jiǎn)單處理的工具類。
- /**
- * 轉(zhuǎn)換為字符串
- * @param inputStream 流
- * @return 結(jié)果
- * @since 1.0.0
- */
- public static String toString(final InputStream inputStream) {
- if (inputStream == null) {
- return null;
- }
- try {
- int length = inputStream.available();
- final Reader reader = new InputStreamReader(inputStream, StandardCharsets.UTF_8);
- final CharArrayBuffer buffer = new CharArrayBuffer(length);
- final char[] tmp = new char[1024];
- int l;
- while((l = reader.read(tmp)) != -1) {
- buffer.append(tmp, 0, l);
- }
- return buffer.toString();
- } catch (Exception exception) {
- throw new RuntimeException(exception);
- }
- }
客戶端
那么問題來了,如何同時(shí)在 HttpClient 中設(shè)置 parameter 和 body 呢?
機(jī)智的小伙伴們可以自己先嘗試一下。
小明嘗試了多種方法,發(fā)現(xiàn)一個(gè)殘酷的現(xiàn)實(shí)—— httpPost 只能設(shè)置一個(gè) Entity,也嘗試看了各種子類,然并LUAN。
就在小明想要放棄的時(shí)候,小明忽然想到,paramter 完全可以通過拼接 URL 的方式實(shí)現(xiàn)。
也就是我們把 parameter 和 url 并且為一個(gè)新的 URL,body 和以前設(shè)置方式一樣。
實(shí)現(xiàn)代碼如下:
- //post請(qǐng)求,帶集合參數(shù)
- public static String post(String url, Map<String, String> paramMap,
- String body) {
- try {
- List<NameValuePair> nameValuePairs = new ArrayList<>();
- for (Map.Entry<String, String> entry : paramMap.entrySet()) {
- NameValuePair pair = new BasicNameValuePair(entry.getKey(), entry.getValue());
- nameValuePairs.add(pair);
- }
- // 構(gòu)建 url
- //構(gòu)造請(qǐng)求路徑,并添加參數(shù)
- URI uri = new URIBuilder(url).addParameters(nameValuePairs).build();
- //構(gòu)造HttpClient
- CloseableHttpClient httpClient = HttpClients.createDefault();
- // 通過HttpPost來發(fā)送post請(qǐng)求
- HttpPost httpPost = new HttpPost(uri);
- httpPost.setEntity(new StringEntity(body));
- // 獲取響應(yīng)
- // 通過client調(diào)用execute方法
- CloseableHttpResponse Response = httpClient.execute(httpPost);
- //獲取響應(yīng)數(shù)據(jù)
- HttpEntity entity = Response.getEntity();
- //將數(shù)據(jù)轉(zhuǎn)換成字符串
- String str = EntityUtils.toString(entity, "UTF-8");
- //關(guān)閉
- Response.close();
- return str;
- } catch (URISyntaxException | IOException | ParseException e) {
- throw new RuntimeException(e);
- }
- }
這里通過 new URIBuilder(url).addParameters(nameValuePairs).build() 構(gòu)建新的 URL,當(dāng)然你可以使用 &key=value 的方式自己拼接。
測(cè)試代碼
- @Test
- public void paramAndBodyTest() {
- String url = "http://localhost:8080/paramAndBody";
- Map<String,String> map = buildParamMap();
- String body = buildBody();
- String result = HttpClientUtils.post(url, map, body);
- Assert.assertEquals("123456-body", result);
- }
測(cè)試通過,非常完美。
新的征程
當(dāng)然,一般的文章到這里就該結(jié)束了。
不過上面并不是本文的重點(diǎn),我們的故事才剛剛開始。
日志需求
大雁飛過,天空一定會(huì)留下他的痕跡。
程序更應(yīng)如此。
為了方便的跟蹤問題,我們一般都是對(duì)調(diào)用的入?yún)⑦M(jìn)行日志留痕。
為了便于代碼拓展和可維護(hù)性,小明當(dāng)然采用攔截器的方式。
日志攔截器
- import org.slf4j.Logger;
- import org.slf4j.LoggerFactory;
- import org.springframework.stereotype.Component;
- import org.springframework.util.StreamUtils;
- import org.springframework.web.servlet.HandlerInterceptor;
- import org.springframework.web.servlet.ModelAndView;
- import javax.servlet.http.HttpServletRequest;
- import javax.servlet.http.HttpServletResponse;
- import java.nio.charset.StandardCharsets;
- import java.util.Enumeration;
- /**
- * 日志攔截器
- * @author 老馬嘯西風(fēng)
- * @since 1.0.0
- */
- @Component
- public class LogHandlerInterceptor implements HandlerInterceptor {
- private Logger logger = LoggerFactory.getLogger(LogHandlerInterceptor.class);
- @Override
- public boolean preHandle(HttpServletRequest httpServletRequest,
- HttpServletResponse httpServletResponse, Object o) throws Exception {
- // 獲取參數(shù)信息
- Enumeration<String> enumeration = httpServletRequest.getParameterNames();
- while (enumeration.hasMoreElements()) {
- String paraName = enumeration.nextElement();
- logger.info("Param name: {}, value: {}", paraName, httpServletRequest.getParameter(paraName));
- }
- // 獲取 body 信息
- String body = StreamUtils.copyToString(httpServletRequest.getInputStream(), StandardCharsets.UTF_8);
- logger.info("body: {}", body);
- return true;
- }
- @Override
- public void postHandle(HttpServletRequest httpServletRequest,
- HttpServletResponse httpServletResponse, Object o, ModelAndView modelAndView) throws Exception {
- }
- @Override
- public void afterCompletion(HttpServletRequest httpServletRequest,
- HttpServletResponse httpServletResponse, Object o, Exception e) throws Exception {
- }
- }
非常的簡(jiǎn)單易懂,輸出入?yún)⒅械?parameter 參數(shù)和 body 信息。
然后指定一下生效的范圍:
- @Configuration
- public class SpringMvcConfig extends WebMvcConfigurerAdapter {
- @Autowired
- private LogHandlerInterceptor logHandlerInterceptor;
- @Override
- public void addInterceptors(InterceptorRegistry registry) {
- registry.addInterceptor(logHandlerInterceptor)
- .addPathPatterns("/**");
- super.addInterceptors(registry);
- }
- }
所有的請(qǐng)求都會(huì)生效。
我的 inputStream 呢?
小伙伴們覺得剛才的日志攔截器有沒有問題?
如果有,又應(yīng)該怎么解決呢?
小明寫完心想一切順利,一運(yùn)行測(cè)試用例,整個(gè)人都裂開了。
所有 Controller 方法中的
httpServletRequest.getInputStream() 的內(nèi)容都變成空了。
是誰?偷走了我的 inputStream?
轉(zhuǎn)念一想,小明發(fā)現(xiàn)了問題所在。
肯定是自己剛才新增的日志攔截器有問題,因?yàn)?stream 作為流只能被讀取一遍,日志中讀取一遍之后,后面就讀不到了。
可是日志中必須要輸出,那應(yīng)該怎么辦呢?
遇事不決
遇事不決,技術(shù)問 google,八卦去圍脖。
于是小明去查了一下,解決方案也比較直接,重寫。
重寫 HttpServletRequestWrapper
首先重寫 HttpServletRequestWrapper,把每次讀取的流信息保存起來,便于重復(fù)讀取。
- /**
- * @author binbin.hou
- * @since 1.0.0
- */
- public class MyHttpServletRequestWrapper extends HttpServletRequestWrapper {
- private byte[] requestBody = null;//用于將流保存下來
- public MyHttpServletRequestWrapper(HttpServletRequest request) throws IOException {
- super(request);
- requestBody = StreamUtils.copyToByteArray(request.getInputStream());
- }
- @Override
- public ServletInputStream getInputStream() {
- final ByteArrayInputStream bais = new ByteArrayInputStream(requestBody);
- return new ServletInputStream() {
- @Override
- public int read() {
- return bais.read(); // 讀取 requestBody 中的數(shù)據(jù)
- }
- @Override
- public boolean isFinished() {
- return false;
- }
- @Override
- public boolean isReady() {
- return false;
- }
- @Override
- public void setReadListener(ReadListener readListener) {
- }
- };
- }
- @Override
- public BufferedReader getReader() throws IOException {
- return new BufferedReader(new InputStreamReader(getInputStream()));
- }
- }
實(shí)現(xiàn) Filter
我們上面重寫的
MyHttpServletRequestWrapper 什么時(shí)候生效呢?
我們可以自己實(shí)現(xiàn)一個(gè) Filter,對(duì)原有的請(qǐng)求進(jìn)行替換:
- import org.springframework.stereotype.Component;
- import javax.servlet.*;
- import javax.servlet.http.HttpServletRequest;
- import java.io.IOException;
- /**
- * @author binbin.hou
- * @since 1.0.0
- */
- @Component
- public class HttpServletRequestReplacedFilter implements Filter {
- @Override
- public void destroy() {}
- @Override
- public void doFilter(ServletRequest request, ServletResponse response,
- FilterChain chain) throws IOException, ServletException {
- ServletRequest requestWrapper = null;
- // 進(jìn)行替換
- if(request instanceof HttpServletRequest) {
- requestWrapper = new MyHttpServletRequestWrapper((HttpServletRequest) request);
- }
- if(requestWrapper == null) {
- chain.doFilter(request, response);
- } else {
- chain.doFilter(requestWrapper, response);
- }
- }
- @Override
- public void init(FilterConfig arg0) throws ServletException {}
- }
然后就可以發(fā)現(xiàn)一切都好起來了,小明嘴角又漏出了龍王的微笑。
小結(jié)
文中對(duì)原始問題進(jìn)行了簡(jiǎn)化,實(shí)際遇到這個(gè)問題的時(shí)候,直接就是一個(gè)攔截器+參數(shù)和body的請(qǐng)求。
所以整個(gè)問題排查起來有些浪費(fèi)時(shí)間。
不過浪費(fèi)的時(shí)間如果沒有任何反思,那就是真的浪費(fèi)了。
最核心的兩點(diǎn)在于:
(1)對(duì)于 servlet 標(biāo)準(zhǔn)的理解。
(2)對(duì)于流讀取的理解,以及一些 spring 的相關(guān)知識(shí)。