Go msgp序列化使用详解！比Json更快！面试时吊打面试官！

2021-07-09 10:01:37 阅读：187 来源： 互联网

标签：面试官序列化 msgp gen 吊打 go main generate

msgp简介

msgp是MessagePack的缩写，是一种高效的二进制序列化格式，用它官网的一句简单的介绍就是：“It’s like JSON.but fast and small.”，JSON大家都知道吧，基本JSON能做的事，msgp都能做，而且比JSON更快，更小。官网在这，大家想详细了解的直接移步到官网去围观吧。

msgp应用在golang

既然msgp这么好，那支持的语言肯定很多吧，没错，到目前为止，msgp对大部分主流的语言都已经支持得很好了，包括golang，官方推荐的库在git上的地址https://github.com/tinylib/msgp 安装就直接go get就行

go get -u -t github.com/tinylib/msgp

这样msgp就直接安装到了golang环境中的工具库中。
由于msgp的原理是将字符序列化为二进制格式，因此需要一些转换代码来辅助序列化，当然这些代码并不用我们手动编写，而是由msgp工具生成，结合go1.4以后出来的子命令go generate，在编译前生成所需的辅助代码，就可以调用msgp库中的序列化方法了

package main

import (
    "fmt"
)

//go:generate msgp

type Foo struct {
    Bar string  `msg:"bar"`
    Baz float64 `msg:"baz"`
}

func main() {
    fmt.Println("Nothing to see here yet!")
}

上面这段代码关键是部分就是那段注释//go:generate msgp，实际上并不是普通的注释，而是上面说的命令go generate 命令，在这个包下面运行go generate，就会调用msgp命令，这个包下面所有文件只要写有这行注释都会自动生成对应的辅助代码。

$ go generate
======== MessagePack Code Generator =======
>>> Input: "main.go"
>>> Wrote and formatted "main_gen.go"
>>> Wrote and formatted "main_gen_test.go"
$ ls
main.go         main_gen.go     main_gen_test.go

上面看到我们执行了go generate 命令，就生成了两个新的文件，从文件名我们可以看出主要的辅助代码实际在main_gen.go这个文件中，main_gen_test.go实际是一个测试文件，里面包含了对生成代码的测试，还有序列化的效率输出。
在生成的辅助代码中，实际上就是给Foo这个struct添加了几个方法，包括DecodeMsg，EncodeMsg，MarshalMsg，UnmarshalMsg这些编码、解码、序列化和反序列化方法，还有一个MsgSize，返回被序列化的数据所需的最大字节数。生成的代码太长，这里就不贴出来了，详细代码可以去msgp库的git仓库查看，或者自己动手生成。
上面说到我们调用go generate命令，实际是调用了msgp这个命令，因此实际上我们可以直接调用这个命令。

$ msgp
No file to parse.

直接不带参数，输出了一条错误信息，无文件解析，那么肯定是少了某些参数，根据经验，我们带上-h参数

$ msgp -h
Usage of msgp:
  -file string
        input file
  -io
        create Encode and Decode methods (default true)
  -marshal
        create Marshal and Unmarshal methods (default true)
  -o string
        output file
  -tests
        create tests and benchmarks (default true)
  -unexported
        also process unexported types

果然，msgp命令运行需要的参数出来了，根据它的解释，解析某个文件需要后面接 -file 加文件名，其它的参数都有默认值，我们先删掉之前生成的文件，直接用msgp命令试一下

$ rm main_gen.go main_gen_test.go
kingsoftdeMac-mini:msgptest kingsoft$ msgp -file main.go
======== MessagePack Code Generator =======
>>> Input: "main.go"
>>> Wrote and formatted "main_gen.go"
>>> Wrote and formatted "main_gen_test.go"

跟预期的结果一样，就是之前go generate命令一样的结果，因此可以知道，在代码中输入//go:generate msgp，则表示在执行go generate命令时，实际调用的是msgp -file + 对应文件名。那么如果我们需要添加其它的参数该怎么做呢？对，就是你想的那样，直接在//go:generate msgp后添加，比如只需要序列化，不需要编码，//go:generate msgp -io=false 在生成代码时，DecodeMsg，EncodeMsg就不会生成；-marshal同理；想自定义生成的文件名，-o=myfilename；不需要生成测试文件，-tests=false 等等，就不一一列举了。

到这里，msgp在golang中如何使用就介绍到这里了。什么？你说我根本没介绍使用啊，这只是生成了辅助代码。。。呵呵，确实，不过方法都给你生成了，直接调用不就完了么哈哈，这里篇幅有限，就不举例了。

使用感想

我需要在项目中使用msgp，是因为之前项目中大量使用的JSON确实已经对项目的性能造成了瓶颈，使用msgp一开始是为了解决JSON太大，占用redis缓存太多，导致可缓存数据不多，命中率不高的问题。更换了msgp后，大小问题确实解决了，但实际上并不是很理想，大概就减少了个15%左右的空间，但另我想不到的是，还有个意外收获，它确实是比之前的JSON解析快得多了，直接把整个项目对系统的负载都降了下来，简直惊喜。

标签：面试官,序列化,msgp,gen,吊打,go,main,generate
来源： https://blog.csdn.net/weixin_43314519/article/details/118598012

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9

Go msgp序列化使用详解！比Json更快！面试时吊打面试官！

msgp简介

msgp应用在golang

使用感想