网络协议设计的思考总结

字符编码 ascii , Unicode ,UTF-8 ,UTF16,UTF32…

##编码和网络字节序
最近在做一个项目时,遇到一个问题:

1
应用层的数据组织格式是json,字符集的编码是UTF-8,把数据encode时,是否要将数据转成大端模式(网络字节序)?

1
答案是:UTF-8 编码不需要,但UTF-16,UTF-32 需要

我一开始觉得对于utf-8 也需要考虑大小端的问题,我的出发点是:
utf-8 编码的数据会有非单字节的表示的数据

现在理清楚

  • 首先,应用层数据对于TCP/IP协议栈时透明的(也就是传输层,及以下,把应用层的数据当成字节流而已,不去解析数据)

  • 客户端从服务器获取到数据后,手动去解析,或者用文本查看器查看文本,只要按UTF-8 编码方式去解析(单字节解析),就不存在大小端问题

  • 假如,用UTF-16 或者UTF-32 编码,客服端的处理器架构不一样(大端,小端都有),那么解析编码时(假如用UTF-16 ),两个字节一块提取出来,放到内存里面,矛盾就会出现~

  • 所以,假如用UTF-16,UTF-32 编码,统一将数据转成大端模式(或小端模式的数据),各自特定平台,就根据自己平台的特点,如果矛盾,进行处理,再解析(不矛盾,就直接解析)