jetty8 text/plain默认字符编码的坑

今天在测试一个content-type为text/plain的API时发现后端requestBody乱码了，而线上正常。
自己本地使用jetty8版本，插件自带版本，而线上使用jetty9。
最开始没有特别注意版本的差异，毕竟这个插件也用了很久了一直没问题，就先从请求分析起。

检查了下发送的请求中没有设置charset，但项目里是设置了spring的编码过滤器，CharacterEncodingFilter中的逻辑：

1
2
3
4
5
6
7
8
9
String encoding = getEncoding();
if (encoding != null) {
    if (isForceRequestEncoding() || request.getCharacterEncoding() == null) {
        request.setCharacterEncoding(encoding);
    }
    if (isForceResponseEncoding()) {
        response.setCharacterEncoding(encoding);
    }
}

encoding配置里设置为UTF-8，强制设置没有开启，所以在request没有设置字符编码时会进行设置。
但奇怪的是乱码的请求里是先被设置成了ISO-8859-1，在想会不会是gateway转发影响，进行抓包分析但还是没有看见charset。
远程debug了正常的测试环境发现字符编码没有被预先设置。
这就非常尴尬了，虽然测试环境没有问题，但本地这个问题的确是存在的，万一上了预发环境也有问题就麻烦了，看了一会儿diff没发现有配置上的变更。
在同事的提醒下，也只有jetty版本的原因了。

拉取了下jetty8的源码（jetty-8.8.0-SNAPSHOT），查看了一下，发现的确有个坑。

AbstractHttpConnection中的parsedHeader负责解析header，其中对应charset的解析代码:

1
2
3
4
case HttpHeaders.CONTENT_TYPE_ORDINAL:
    value = MimeTypes.CACHE.lookup(value);
    _charset=MimeTypes.getCharsetFromContentType(value);
    break;

解析出来的_charset会在headerComplete中设置进request内:

1
2
if(_charset!=null)
    _request.setCharacterEncodingUnchecked(_charset);

主要的判断代码在MimeTypes中

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
public static String getCharsetFromContentType(Buffer value)
{
    if (value instanceof CachedBuffer)
    {
        switch(((CachedBuffer)value).getOrdinal())
        {
            case TEXT_HTML_8859_1_ORDINAL:
            case TEXT_PLAIN_8859_1_ORDINAL:
            case TEXT_XML_8859_1_ORDINAL:
                return StringUtil.__ISO_8859_1;

            case TEXT_HTML_UTF_8_ORDINAL:
            case TEXT_PLAIN_UTF_8_ORDINAL:
            case TEXT_XML_UTF_8_ORDINAL:
            case TEXT_JSON_UTF_8_ORDINAL:
                return StringUtil.__UTF8;
        }
    }
    //下面是用来解析charset的
    int i=value.getIndex();
    final int end=value.putIndex();
    int state=0;
    int start=0;
    boolean quote=false;
    for (;i<end;i++)
    {
        final byte b = value.peek(i);

        if (quote && state!=10)
        {
            if ('"'==b)
                quote=false;
            continue;
        }

        switch(state)
        {
            case 0:
                if ('"'==b)
                {
                    quote=true;
                    break;
                }
                if (';'==b)
                    state=1;
                break;

            case 1: if ('c'==b) state=2; else if (' '!=b) state=0; break;
            case 2: if ('h'==b) state=3; else state=0;break;
            case 3: if ('a'==b) state=4; else state=0;break;
            case 4: if ('r'==b) state=5; else state=0;break;
            case 5: if ('s'==b) state=6; else state=0;break;
            case 6: if ('e'==b) state=7; else state=0;break;
            case 7: if ('t'==b) state=8; else state=0;break;

            case 8: if ('='==b) state=9; else if (' '!=b) state=0; break;

            case 9:
                if (' '==b)
                    break;
                if ('"'==b)
                {
                    quote=true;
                    start=i+1;
                    state=10;
                    break;
                }
                start=i;
                state=10;
                break;

            case 10:
                if (!quote && (';'==b || ' '==b )||
                    (quote && '"'==b ))
                    return CACHE.lookup(value.peek(start,i-start)).toString(StringUtil.__UTF8);
        }
    }
    if (state==10)
        return CACHE.lookup(value.peek(start,i-start)).toString(StringUtil.__UTF8);
    //默认路径
    return (String)__encodings.get(value);
}

简单来看首先检查是否是预设的一些content-type，如果是的话直接返回。
而传入的text/plain不在默认的范围内，接下里的代码是寻找charset或者”charset”，而传入的内容里并没有。
最后走到了return (String)__encodings.get(value);，通过上面的代码可以找到这个属性的设置:

1
2
3
4
5
6
7
final ResourceBundle encoding = ResourceBundle.getBundle("org/eclipse/jetty/http/encoding");
final Enumeration i = encoding.getKeys();
while(i.hasMoreElements())
{
    final Buffer type = normalizeMimeType((String)i.nextElement());
    __encodings.put(type,encoding.getString(type.toString()));
}

使用了ResourceBundle，对应的资源文件内容：

1
2
3
4
text/html	= ISO-8859-1
text/plain	= ISO-8859-1
text/xml	= UTF-8
text/json   = UTF-8

… …默认值为ISO-8859-1。
而jetty9呢，切回master分支，jetty9设置的代码直接在Request类中了，如下：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
@Override
public String getCharacterEncoding()
{
    if (_characterEncoding==null)
        getContentType();
    return _characterEncoding;
}



@Override
public String getContentType()
{
    MetaData.Request metadata = _metaData;
    String content_type = metadata==null?null:metadata.getFields().get(HttpHeader.CONTENT_TYPE);
    if (_characterEncoding==null && content_type!=null)
    {
        MimeTypes.Type mime = MimeTypes.CACHE.get(content_type);
        String charset = (mime == null || mime.getCharset() == null) ? MimeTypes.getCharsetFromContentType(content_type) : mime.getCharset().toString();
        if (charset != null)
            _characterEncoding=charset;
    }
    return content_type;
}

类似的逻辑还是继续走MimeTypes的方法，但最后发生了变化:

1
2
3
4
5
       if (state==10)
        return StringUtil.normalizeCharset(value,start,i-start);

    return null;
}

已经没有那个默认逻辑，直接返回null了。
这个改动已经非常久远了。
避免踩这种坑，勤升版本很重要啊… …
感觉又荒废了时光…