网络协议设计的思考总结

发表于   |   分类于   |  

字符编码 ascii , Unicode ,UTF-8 ，UTF16,UTF32…

##编码和网络字节序
最近在做一个项目时，遇到一个问题：

1
应用层的数据组织格式是json，字符集的编码是UTF-8，把数据encode时，是否要将数据转成大端模式（网络字节序）？

1
答案是：UTF-8 编码不需要，但UTF-16，UTF-32 需要

我一开始觉得对于utf-8 也需要考虑大小端的问题，我的出发点是：
utf-8 编码的数据会有非单字节的表示的数据

现在理清楚

  • 首先，应用层数据对于TCP/IP协议栈时透明的（也就是传输层，及以下，把应用层的数据当成字节流而已，不去解析数据）

  • 客户端从服务器获取到数据后，手动去解析，或者用文本查看器查看文本，只要按UTF-8 编码方式去解析（单字节解析），就不存在大小端问题

  • 假如，用UTF-16 或者UTF-32 编码，客服端的处理器架构不一样（大端，小端都有），那么解析编码时（假如用UTF-16 ），两个字节一块提取出来，放到内存里面，矛盾就会出现～

  • 所以，假如用UTF-16，UTF-32 编码，统一将数据转成大端模式（或小端模式的数据），各自特定平台，就根据自己平台的特点，如果矛盾，进行处理，再解析（不矛盾，就直接解析）