机器学习深度学习数据可视化可观测性【免费下载链接】wandbThe AI developer platform. Use Weights Biases to train and fine-tune models, and manage models from experimentation to production.项目地址https://gitcode.com/gh_mirrors/wa/wandb点击查看免费下载Zstandard简称 zstd是一种实时压缩算法在提供高压缩比的同时支持极宽的压缩/速度权衡区间并拥有非常快的解码器。github.com/klauspost/compress/zstd是 Zstandard 的纯 Go 实现它在本仓库中以 vendored 依赖的形式存在于 core/vendor/github.com/klauspost/compress/zstd由 core/go.mod 声明的github.com/klauspost/compress v1.20.0间接引入并被 Apache Arrow Go 实现的 IPC 层用作 zstd 编解码后端见 compression.go。读完本文你将掌握该库的流式/块式压缩与解压 API、全部关键配置选项、并发与字典用法以及它在 wandb 核心中的真实落点。一、包定位纯 Go、面向 64 位优化的 Zstandard 实现该包提供 Zstandard 内容的压缩Compressor与解压Decompressor能力核心特征包括纯 Go 实现可通过构建标签noasm和nounsafe禁用汇编优化与不安全代码特性侧重速度当前实现的高性能压缩算法聚焦于速度同时兼顾压缩比64 位优化包当前针对 64 位处理器做了大量优化在 32 位处理器上会明显变慢稳定性承诺压缩器与解压器均标记为 STABLE 状态项目持续通过模糊测试fuzz testing验证但项目方仍建议针对特定数据类型/尺寸/设置组合自行测试许可以 Go 标准开源许可发布。在 wandb 仓库中该包并非被 wandb 自身 Go 源码直接 import而是作为github.com/apache/arrow-go/v18的传递依赖被 vendored。core/vendor/modules.txt第 693–702 行记录了完整的 vendored 清单包含github.com/klauspost/compress/zstd及其内部依赖zstd/internal/xxhash。真正使用它的是 Arrow IPC 压缩封装其中zstdCompressor包装了*zstd.EncoderzstdDecompressor包装了*zstd.Decoder分别实现了 Arrow IPC 的Compressor/Decompressor接口从而为 Arrow 数据流提供 zstd 压缩通道。因此该库的 API 与性能直接关系到 wandb 核心中 Arrow 相关数据路径的编解码体验。二、安装与引入该库随github.com/klauspost/compress模块发布包路径为github.com/klauspost/compress/zstd。对于使用本仓库的开发者依赖已由 core/go.mod 锁定为v1.20.0并完成 vendoring无需手动下载在自己的 Go 工程中引入则执行go get -u github.com/klauspost/compress随后在代码中import github.com/klauspost/compress/zstd即可。由于 Go 模块语义compress/zstd与本仓库核心中的其他 vendored 包遵循相同的版本锁定规则升级时需同步更新go.mod与go.sum仓库中对应条目见 go.sum。三、Compressor压缩器使用指南3.1 压缩级别与速度模型目前实现了一个高速fastest和一个中高速default压缩器压缩级别与官方 zstd 参考实现的对应关系如下本包级别大致对应官方 zstd 级别Fastest最快level 1Default默认level 3官方默认Better更好level 7Best最佳level 11与 Go 标准库相比其速度通常是标准库 deflate/gzip 最快模式的2 倍压缩比约相当于 level 3但速度通常是其3 倍。性能对比细节见文末“性能基准”一节。3.2 流式压缩NewWriterEncoder 支持两种使用方式通过io.WriteCloser接口进行流式压缩或通过EncodeAll进行多个独立任务的块式压缩。较小数据量的编码建议使用EncodeAll。NewWriter创建的实例两种方式都可用。默认选项创建 writer 的经典流式压缩示例// Compress input to output. func Compress(in io.Reader, out io.Writer) error { enc, err : zstd.NewWriter(out) if err ! nil { return err } _, err io.Copy(enc, in) if err ! nil { enc.Close() return err } return enc.Close() }写入enc的数据即被编码Close()调用时输出完整收尾。即使编码失败也应当调用Close()释放可能持有的资源。上述写法适合大体积编码但只要可能就应复用 writer通过Reset(io.Writer)切换到新的输出让编码器复用全部内部资源避免浪费分配。关于并发需要留意两点默认情况下流式编码采用“轻量并发”即最多 2 个 goroutine 参与流的一部分工作。这与WithEncoderConcurrency(n)相互独立未来可能变化因此若希望限制未来版本的并发应显式指定期望的并发数若希望流式编码完全不启动异步 goroutine使用WithEncoderConcurrency(1)此时每个块完成即压缩写操作会阻塞至该块完成。3.3 并行流压缩WithConcurrentBlocks对于大流量吞吐有极致追求的场景使用WithConcurrentBlocks(true)搭配WithEncoderConcurrency(n)n 为想使用的 CPU 核心数。该模式把输入切分为大段jobs由多个 goroutine 同时压缩机制与 C 版 zstd 的多线程压缩类似enc, err : zstd.NewWriter(out, zstd.WithEncoderLevel(zstd.SpeedDefault), zstd.WithEncoderConcurrency(runtime.GOMAXPROCS(0)), zstd.WithConcurrentBlocks(true), )每个非首个 job 都会从前一个 job 获取重叠前缀作为匹配上下文因此压缩比只受轻微影响输出按顺序刷出最终产生一个合法的单帧 zstd 流。项目文档给出的 1.8GB GOB 流基准AMD Ryzen 9 9950X如下Level1 线程4 线程16 线程1T 比率16T 比率fastest783 MB/s2950 MB/s3.8×6939 MB/s8.9×12.24%12.26%default728 MB/s2533 MB/s3.5×5340 MB/s7.3×10.67%10.68%better434 MB/s1105 MB/s2.5×2206 MB/s5.1×9.14%9.21%best129 MB/s367 MB/s2.8×884 MB/s6.8×8.48%8.63%上表为项目 README 提供的基准数据ratio 列指输出相对输入的比例越低压缩比越高。使用该模式的注意事项与字典编码不兼容Flush()会立即派发当前部分完成的 job对延迟敏感的场景可借此强制产出输出EncodeAll不受影响——它经由编码器池走自己的并发路径。压缩级别通过WithEncoderLevel()指定目前仅支持预定义级别。3.4 未来兼容性保证该包处于持续演进中压缩效率与速度都可能变化目标是维持默认效率在官方 zstdlevel 3水平不应假设编码输出恒定不变不要用压缩输出的哈希做相似性比对同一代码版本可保证输出一致未来可能出现破坏这一点的模式但不会在未显式开启选项的情况下启用该编码器不设计为未来也基本不会与参考编码器输出完全一致的比特流。另需注意文档中对比 cgo 解压器时指出cgo 解压器存在不报告部分输入错误、省略部分错误检查、忽略校验和、以及忽略拼接流而拼接流是 zstd 规范的一部分等问题——这也是纯 Go 实现的一个价值点。3.5 块式压缩EncodeAllEncodeAll(src, dst []byte) []byte将src全部编码并追加到dst可并发调用每次调用只运行在调用者自己的 goroutine 上。编码后的块可以拼接拼接结果即为合并输入流的合法输出EncodeAll的产物既可用流式 Decoder 解码也可用DecodeAll解码。import github.com/klauspost/compress/zstd // Create a writer that caches compressors. // For this operation type we supply a nil Reader. var encoder, _ zstd.NewWriter(nil) // Compress a buffer. // If you have a destination buffer, the allocation in the call can also be eliminated. func Compress(src []byte) []byte { return encoder.EncodeAll(src, make([]byte, 0, len(src))) }块编码尤其要注意复用 encoder预热期后即可做到零分配若再提供一个容量足够的 dst 缓冲区可做到完全零分配。用WithEncoderConcurrency(n)可控制最大并发编码数。同一个 Encoder 同时用于流式与块式编码是安全的。3.6 编码器选项速查来自源码从 encoder_options.go 可以看到完整的 EOption 集合函数行号以当前 vendored v1.20.0 为准选项源码位置说明WithEncoderCRC(b bool)encoder_options.go#L78输出附加 CRC 值输出增大 4 字节可用ResetWithOptions更改WithEncoderConcurrency(n int)encoder_options.go#L89设置编码并发数WithWindowSize(n int)encoder_options.go#L111设置滑动窗口大小影响内存与压缩比WithEncoderPadding(n int)encoder_options.go#L142输出填充字节数WithEncoderLevel(l EncoderLevel)encoder_options.go#L236压缩级别四个预定义级别之一WithZeroFrames(b bool)encoder_options.go#L273空输入时是否输出零帧WithAllLitEntropyCompression(b bool)encoder_options.go#L285所有字面量熵编码压缩WithNoEntropyCompression(b bool)encoder_options.go#L297禁用熵编码压缩WithSingleSegment(b bool)encoder_options.go#L315单段single segment模式WithLowerEncoderMem(b bool)encoder_options.go#L327降低编码器内存占用WithConcurrentBlocks(b bool)encoder_options.go#L345开启多块并行压缩WithEncoderDict(dict []byte)encoder_options.go#L382压缩时使用单个字典WithEncoderDictRaw(id uint32, content []byte)encoder_options.go#L398以原始字典 ID 与内容注册字典WithEncoderDictDelete()encoder_options.go#L410删除已注册字典默认值在encoderOptions.setDefault()encoder_options.go#L36-L48中定义并发数为runtime.GOMAXPROCS(0)、crctrue、块大小取最大压缩块、窗口大小8 208 MiB、级别SpeedDefault。级别到具体编码器的映射见encoderOptions.encoder()encoder_options.go#L51-L73Fastest 对应fastEncoder、Default 对应doubleFastEncoder、Better 对应betterFastEncoder、Best 对应bestFastEncoder且带字典时使用对应的*Dict变体。四、Decompressor解压器使用指南状态STABLE——仍可能存在细微 bug但已测试大量内容并持续接受模糊测试主要目标是确保任何输入都无法导致解码器崩溃或越过其限制运行。包的设计面向两类主要场景大数据流与小体积内存缓冲两者都通过创建Decoder来使用。4.1 流式解压NewReaderimport github.com/klauspost/compress/zstd func Decompress(in io.Reader, out io.Writer) error { d, err : zstd.NewReader(in) if err ! nil { return err } defer d.Close() // Copy content... _, err io.Copy(out, d) return err }重要默认设置下不再需要 Reader 时务必调用Close()以停止后台 goroutine。当返回错误包括流结束的io.EOF后goroutine 会自行退出。流按 4 个异步阶段并发解码以追求最佳吞吐若希望同步解压用WithDecoderConcurrency(1)数据只在被请求时才解压。4.2 缓冲解压DecodeAllimport github.com/klauspost/compress/zstd // Create a reader that caches decompressors. // For this operation type we supply a nil Reader. var decoder, _ zstd.NewReader(nil, zstd.WithDecoderConcurrency(0)) // Decompress a buffer. We dont supply a destination buffer, // so it will be allocated by the decoder. func Decompress(src []byte) ([]byte, error) { return decoder.DecodeAll(src, nil) }解码器支持并发解压多个缓冲默认创建 4 个解压器可用WithDecoderConcurrency(n)调整允许的并发操作数WithDecoderConcurrency(0)则创建 GOMAXPROCS 个解压器。4.3 字典Dictionaries使用字典压缩的数据可以被解压字典是官方 zstd 针对小数据压缩的利器解码端用WithDecoderDicts(dicts ...[]byte)一次注册一个或多个字典。数据中指定了字典 ID 时会自动选用复用的 Decoder 保留已注册字典多个同 ID 字典注册时以最后一个为准编码端用WithEncoderDict(dict []byte)启用单个字典它会无条件使用即使对压缩无益。必须使用与压缩时相同的字典才能解压要获得实际收益字典应基于相似数据构建官方zstd --train命令生成使用不合适的字典可能使输出比不用字典略大目前用字典压缩存在固定的启动性能开销实现前应测试性能影响。4.4 零分配操作与资源管理解码器设计目标之一是在预热后零分配运行因此应长期持有store解码器流式解码器复用Reset(r io.Reader) error切换到另一条流即使上一条流失败也可安全复用释放资源必须调用Close()之后该解码器不可再复用但所有运行中的 goroutine 都会停止不再需要 Reader 时务必调用小缓冲解压可共用单个解码器解码缓冲时可传入长度为 0、容量为预期大小的目标切片避免不必要分配。4.5 解码器并发模型缓冲解码器全部工作在同一 goroutine 上完成本身不并发但可同时解码多个缓冲用WithDecoderConcurrency(n)限制流式解码器创建 goroutine 依次承担 4 个职责——1读取输入并切分为块2字面量解压3序列解压4输出流重建。这也意味着解码器会“预读”并预生成数据保证输出随时可用流的并发级别决定了解压会提前多少个块开始工作由于块之间强依赖前一块的输出流解码并发有限实践中通常只能有效利用约3 个核心。4.6 解码器选项速查来自源码完整 DOption 集合见 decoder_options.go选项源码位置说明WithDecoderLowmem(b bool)decoder_options.go#L47降低解码器内存占用WithDecoderConcurrency(n int)decoder_options.go#L68并发解压数0 表示 GOMAXPROCSWithDecoderMaxMemory(n uint64)decoder_options.go#L90解码内存上限WithDecoderDicts(dicts ...[]byte)decoder_options.go#L112注册字典WithDecoderDictRaw(id uint32, content []byte)decoder_options.go#L131注册原始字典WithDecoderMaxWindow(size uint64)decoder_options.go#L150解码窗口上限WithDecodeAllCapLimit(b bool)decoder_options.go#L168是否限制 DecodeAll 容量WithDecodeBuffersBelow(size int)decoder_options.go#L181低于该尺寸的缓冲采用特定解码路径WithDecoderDictDelete(ids ...uint32)decoder_options.go#L203按 ID 删除字典五、性能基准以下数据全部来自项目 README 的原始记录反映该版本库在特定硬件与语料下的表现不代表当前硬件环境的实测结果。5.1 流式/缓冲解码基准AMD Ryzen 9 3950XAMD64 汇编BenchmarkDecoderSilesia-32 5 206878840 ns/op 1024.50 MB/s 49808 B/op 43 allocs/op BenchmarkDecoderEnwik9-32 1 1271809000 ns/op 786.28 MB/s 72048 B/op 52 allocs/op Concurrent blocks, performanceDecodeAll 并行解码: BenchmarkDecoder_DecodeAllParallel/kppkn.gtb.zst-32 67356 17857 ns/op 10321.96 MB/s 22.48 pct 102 B/op 0 allocs/op BenchmarkDecoder_DecodeAllParallel/geo.protodata.zst-32 266656 4421 ns/op 26823.21 MB/s 11.89 pct 19 B/op 0 allocs/op BenchmarkDecoder_DecodeAllParallel/plrabn12.txt.zst-32 20992 56842 ns/op 8477.17 MB/s 39.90 pct 754 B/op 0 allocs/op BenchmarkDecoder_DecodeAllParallel/lcet10.txt.zst-32 27456 43932 ns/op 9714.01 MB/s 33.27 pct 524 B/op 0 allocs/op BenchmarkDecoder_DecodeAllParallel/asyoulik.txt.zst-32 78432 15047 ns/op 8319.15 MB/s 40.34 pct 66 B/op 0 allocs/op BenchmarkDecoder_DecodeAllParallel/alice29.txt.zst-32 65800 18436 ns/op 8249.63 MB/s 37.75 pct 88 B/op 0 allocs/op BenchmarkDecoder_DecodeAllParallel/html_x_4.zst-32 102993 11523 ns/op 35546.09 MB/s 3.637 pct 143 B/op 0 allocs/op BenchmarkDecoder_DecodeAllParallel/paper-100k.pdf.zst-32 1000000 1070 ns/op 95720.98 MB/s 80.53 pct 3 B/op 0 allocs/op BenchmarkDecoder_DecodeAllParallel/fireworks.jpeg.zst-32 749802 1752 ns/op 70272.35 MB/s 100.0 pct 5 B/op 0 allocs/op BenchmarkDecoder_DecodeAllParallel/urls.10K.zst-32 22640 52934 ns/op 13263.37 MB/s 26.25 pct 1014 B/op 0 allocs/op BenchmarkDecoder_DecodeAllParallel/html.zst-32 226412 5232 ns/op 19572.27 MB/s 14.49 pct 20 B/op 0 allocs/op BenchmarkDecoder_DecodeAllParallel/comp-data.bin.zst-32 923041 1276 ns/op 3194.71 MB/s 31.26 pct 0 B/op 0 allocs/op“pct”为压缩后大小占原大小的百分比该项目记录于约 2022 年 5 月可能已过时。5.2 压缩器跨实现对比README 使用多种语料对比本包表中zskp与 Datadog cgo 库zstd、标准库 gzip 与本包 gzip 实现gzstd/gzkp。level取值中本包 1fastest、2default、3better、4best。节选如下Silesia 语料约 202 MB tar输出levelinsizeoutsizemillismb/szskp121194752073821326634318.47zskp2211947520676554041508133.96zskp321194752064746933300067.37zskp4211947520600735081692611.94zstd(cgo)121194752073605392543371.56zstd(cgo)321194752066793289864233.68zstd(cgo)6211947520629164501913105.66zstd(cgo)921194752060212393506339.92gzstd1211947520800077351498134.87gzkp1211947520800882721009200.31高度可压缩的 GOB 二进制流约 1.9 GB输出levelinsizeoutsizemillismb/szskp119113996162339480963230564.34zskp219113996162039976944997364.73zskp3191139961617352652313435135.68zskp419113996161621952354755938.33zstd(cgo)119113996162498104242637691.26zstd(cgo)319113996162081921463490522.31zstd(cgo)619113996161936320386687272.56zstd(cgo)9191139961617762038616175112.70gzstd119113996163573820139046201.49gzkp119113996163591366694885373.08enwik92006-03-03 英文维基百科前 10^9 字节输出levelinsizeoutsizemillismb/szskp110000000003438336053687258.64zskp210000000003170012377672124.29zskp310000000002919158231592359.89zskp410000000002617102917769712.27zstd(cgo)110000000003580720213110306.65zstd(cgo)310000000003137346724784199.35zstd(cgo)610000000002951388751029092.68zstd(cgo)910000000002783487002854933.40gzstd110000000003825781368608110.78gzkp110000000003827811605628169.45高度可压缩 JSON约 6.27 GB输出levelinsizeoutsizemillismb/szskp162739517646974395329789611.17zskp2627395176461087653818553322.49zskp3627395176451766285844186135.41zskp4627395176446461711416537336.18zstd(cgo)162739517647662840378450708.00zstd(cgo)3627395176466188947610927547.57zstd(cgo)6627395176464275685922996260.18zstd(cgo)9627395176460197452352413114.16gzstd16273951764116439776826793223.32gzkp16273951764112063185617693338.16VM 镜像 tar约 8.56 GB输出levelinsizeoutsizemillismb/szskp18558382592371840022118206448.29zskp28558382592332611833737074220.15zskp3855838259231638423618730693.49zskp48558382592297048065078386210.41zstd(cgo)18558382592360925010417136476.27zstd(cgo)38558382592334167999729262278.92zstd(cgo)68558382592323584640677904104.77zstd(cgo)98558382592316077886114094657.91gzstd18558382592392623499251345158.96gzkp18558382592396011729836722222.26CSV 数据约 3.33 GB输出levelinsizeoutsizemillismb/szskp133256057526413193329462335.17zskp2332560575258897612617570180.50zskp333256057525293292603243297.79zskp4332560575247494977213802522.98zstd(cgo)133256057526873996378233385.18zstd(cgo)3332560575259851441110065315.07zstd(cgo)6332560575257052295320038158.27zstd(cgo)933256057525175547976456549.12gzstd1332560575292865490821270149.11gzkp1332560575292227321413929227.68综合可见本包在 1/2 级fastest/default下压缩比与 cgo 实现接近速度处于同一数量级且远超 gzip级别越高压缩比收益越明显但耗时增长也越陡峭。选型时应在吞吐与压缩比之间按数据特征取舍。六、ZIP 归档内的 zstd可以在 zip 归档内用 zstandard 压缩单个文件虽然支持面不广但对内部文件很有用。为此必须注册压缩器与解压器代码示例可参考包文档中的ZipCompressor示例实现位于 zip.go。两条关键建议强烈建议在单个 zip Reader/Writer 实例上注册而不是使用全局注册函数——来自不同包的两处全局注册会触发 panic最好只维护单一压缩器与解压器实例它们可被多个 zip 文件并发使用且单实例有助于复用部分资源。七、在 wandb 仓库中的实际应用在 wandb 核心core 目录中klauspost/compress/zstd通过 Apache Arrow Go 库github.com/apache/arrow-go/v18被间接引入具体落点在 Arrow IPC 压缩封装第 25 行import github.com/klauspost/compress/zstdzstdCompressor第 48 行起内嵌*zstd.Encoder通过zstd.NewWriter(nil)构造并实现MaxCompressedLen、Type等接口方法第 52–78 行zstdDecompressor第 89 行起内嵌*zstd.Decoder通过zstd.NewReader(nil)构造实现Reset、Close等接口方法第 93–120 行。这意味着凡是启用 zstd 压缩的 Arrow IPC 数据通道编解码底层都由本包承担而 wandb 自身 Go 业务代码core/internal等并不直接引用它依赖关系在 core/go.mod 中标记为// indirect。对 wandb 的开发者而言理解本文所述的并发模型、窗口/内存选项与字典行为有助于在涉及 Arrow 数据压缩时做出正确的性能与内存取舍。八、参与贡献项目欢迎一切贡献新特性/修复请附带测试性能增强请附带基准benchmark数据一般反馈与使用经验可提交 issue。该包还内嵌了优秀的 xxhash 实现版权归 Caleb Spare / cespare2016位于 zstd/internal/xxhash。核心参考路径包文档README.md编码器入口与选项encoder.go、encoder_options.go解码器入口与选项decoder.go、decoder_options.go字典支持dict.goZIP 集成zip.go依赖声明core/go.mod、core/vendor/modules.txtwandb 内实际使用Arrow IPC 压缩封装赞分享机器学习深度学习数据可视化可观测性【免费下载链接】wandbThe AI developer platform. Use Weights Biases to train and fine-tune models, and manage models from experimentation to production.项目地址https://gitcode.com/gh_mirrors/wa/wandb点击查看免费下载相关推荐skopeo 依赖库剖析klauspost/compress/zstd 纯 Go 版 Zstandard 压缩/解压实战指南skopeo 依赖库剖析klauspost/compress/zstd 纯 Go 版 Zstandard 压缩/解压实战指南 本文以仓库 vendor 目录中云原生CLI镜像仓库OpenCloud 依赖解析纯 Go 实现的 Zstandard 压缩库 klauspost/compress/zstd 完整指南OpenCloud 依赖解析纯 Go 实现的 Zstandard 压缩库 klauspost/compress/zstd 完整指南 本文以 OpenCloud后端微服务存储认证鉴权Slim(toolkit) 依赖解析深入 klauspost/compress/zstd 纯 Go 实现的 Zstandard 压缩/解压指南Slim toolkit 依赖解析深入 klauspost/compress/zstd 纯 Go 实现的 Zstandard 压缩/解压指南 导读 本文以当前云原生CLI应用安全创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
