后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载导读本文聚焦 Xberg 文档智能抽取管线的**语言检测Language Detection**能力围绕 C# 绑定中的LanguageDetectionConfig讲解如何开启多语言检测、调整置信度阈值并读取DetectedLanguages与DetectedLanguageConfidences输出。文中结合 Rust 核心实现基于 whatlang 的分块检测算法与 C# 绑定源码给出可直接复制的 C# 代码、等价 JSON 配置以及端到端测试验证读完即可在自己的文档抽取流程中落地混合语种识别。功能定位语言检测在 Xberg 管线中的角色Xberg 的抽取管线由多个可插拔的PostProcessor组成语言检测正是其中之一。该处理器以插件形式注册插件名为language-detection见 processor.rs运行在ProcessingStage::Early阶段优先级为 40。它的作用非常明确对抽取出的纯文本内容做语言判定并把结果写回抽取结果文档——而不是参与文本抽取本身。从实现看处理器通过should_process判断配置中是否携带language_detection字段只有显式配置时才会运行processor.rs命中后将 ISO 639-3 代码列表写入result.detected_languages同时将更完整的结构化信息置信度、占比、文字体系、可靠性写入result.detected_language_confidences未配置或检测不到任何语言时两个字段均为null。也就是说你不需要为语言检测单独准备任何数据它直接消费ExtractedDocument.content这个已抽取的文本属于典型的后处理增强能力。多语言检测的 C# 实战示例以下代码来自官方契约示例文档 language_detection_multilingual.md它演示了完整的调用方式开启多语言检测、设置置信度阈值 0.3、提取一个混合语种的 Markdown 文档并打印检测到的全部语言using System; using System.Text.Json; using Xberg; var ConfigOptions new JsonSerializerOptions { PropertyNameCaseInsensitive true }; var result await XbergConverter.ExtractAsync(new ExtractInput { Kind JsonSerializer.DeserializeExtractInputKind(\uri\, ConfigOptions)!, MimeType text/markdown, Uri https://example.com/markdown/comprehensive.md }, new ExtractionConfig { LanguageDetection new LanguageDetectionConfig { DetectMultiple true, Enabled true, MinConfidence 0.3d } }); Console.WriteLine(result.Results[0].DetectedLanguages);这段代码的关键点拆解如下输入对象ExtractInput这里以uri方式指定远端 Markdown 文档MimeType text/markdown。Kind通过JsonSerializer.DeserializeExtractInputKind(\uri\)解析得到PropertyNameCaseInsensitive确保 JSON 字段名大小写不敏感。抽取配置ExtractionConfig通过LanguageDetection属性携带语言检测配置这是触发语言检测处理器的唯一入口。输出读取result.Results[0].DetectedLanguages是该文档检测到的全部语言代码列表ISO 639-3 格式。执行后控制台会打印类似[eng, cmn, spa]的语言代码数组——每一条都代表一种在文档中占据一定文本比例且置信度达标的语言。等价 JSON 配置形式同样的调用如果用 JSON 表达这正是 FFI 层实际传输的形态配置结构如下{ language_detection: { enabled: true, min_confidence: 0.3, detect_multiple: true } }这与契约测试 language_detection_multilingual.json 中的config完全一致。C# 端通过LanguageDetectionConfig.FromJson/LanguageDetectionConfig.Default()与原生层互转序列化时遵循 snake_case 命名见 LanguageDetectionConfig.cs。三个配置参数详解Enabled / MinConfidence / DetectMultipleLanguageDetectionConfig在 Rust 侧定义于 types.rsC# 侧对应 LanguageDetectionConfig.cs两者字段一一对应参数类型默认值含义enabledbooltrue是否启用语言检测。关闭时处理器直接返回输出字段保持nullmin_confidencefloat/double0.8置信度阈值0.0–1.0。低于该值的语言会被过滤掉detect_multipleboolfalse是否检测多种语言。false时只返回一个最主要的语言true时返回所有达标语言默认值定义在 Rust 源码的 Default 实现 中C# 端Enabled true、MinConfidence 0.8、DetectMultiple false与之保持一致。两个容易混淆的语义点min_confidence影响的是是否输出而不是检测是否进行。源码中先执行 whatlang 检测再用阈值过滤单语言模式下info.confidence() config.min_confidence才输出mod.rs多语言模式下每个分块的置信度都要达到阈值才会计入统计mod.rs。阈值提高是单调过滤把min_confidence从 0.3 调到 0.95只会让返回的语言数量减少绝不会增加。这一不变量由回归测试test_confidence_threshold_is_honored_and_monotonic显式锁定mod.rs修掉的正是旧实现把阈值封顶在 0.35、导致调高阈值无效的历史问题issue #1223。多语言检测的底层原理200 字符分块聚合detect_multiple true时Xberg 不再对整篇文本做一次检测而是走detect_multiple_languages_details的分块聚合流程mod.rs分块把全文按字符切分为长度CHUNK_SIZE 200的连续块常量定义见 mod.rs逐块检测对每个块调用 whatlang 的detect只保留置信度 ≥min_confidence的检测结果聚合按语言累积命中块数与置信度总和并记录最近一次命中的文字体系script排序输出按命中块数降序排列块数相同则按 ISO 639-3 代码升序保证结果确定性计算指标每种语言输出块均置信度confidence、占全部分块的比例proportion与可靠性标记。之所以采用分块策略是因为长文档往往是多语混排——整篇检测只能给出最占优势的一种语言而 200 字符粒度能捕捉局部语种变化。分块大小并非随意取值PDF OCR 场景的文本可信度判定issue #1696也复用同一个CHUNK_SIZE边界避免两套分块参数各自标定见 mod.rs 注释。单元测试test_multiple_languages_deterministic_order专门验证了中英混排文本连续 8 次检测结果完全一致的确定性要求mod.rs因此在重复调用场景下输出顺序是稳定的。输出格式ISO 639-3 代码无论单语言还是多语言模式返回的语言代码一律是ISO 639-3 三字母代码英语为eng、中文为cmn、西班牙语为spa、法语为fra、俄语为rus等。映射由lang_to_iso639_3函数完成覆盖 whatlang 支持的全部 71 种语言mod.rs。C# 端DetectedLanguages属性ExtractedDocument.cs直接透传该列表。读取结构化检测结果LanguageConfidence仅读DetectedLanguages只能得到代码列表无法知道哪种语言占多少比例、置信度多高。为此 Xberg 提供了配套字段DetectedLanguageConfidences类型为ListLanguageConfidence与DetectedLanguages同序对应ExtractedDocument.cs。每个LanguageConfidence记录包含四个字段定义见 LanguageConfidence.cs字段JSON 键说明LanguagelanguageISO 639-3 代码与DetectedLanguages对应项一致Confidenceconfidence置信度0.0–1.0。单语言模式为 whatlang 对整篇文档的置信度多语言模式为该语言各命中分块置信度的平均值Proportionproportion该语言在文档中的占比0.0–1.0。单语言模式恒为 1.0多语言模式为命中块数 / 全部分块数Scriptscript检测到的文字体系如Latin、Cyrillic、Han等Reliablereliable是否可靠。单语言模式对应 whatlang 的is_reliable()内部 0.9 阈值多语言模式为块均置信度 0.9以中英混排文档为例你可能得到[ { language: eng, confidence: 0.95, proportion: 0.55, script: Latin, reliable: true }, { language: cmn, confidence: 0.92, proportion: 0.45, script: Han, reliable: true } ]其中proportion直接告诉你两种语言在文档中的相对体量适合用来做下游路由例如按语言选择不同的翻译模型或 OCR 词典。单语言 vs 多语言如何选择detect_multiple开关对应两条不同的代码路径分派逻辑见 mod.rsdetect_multiple false默认对整篇文本做一次 whatlang 检测返回最多一个语言代码。适合绝大多数单一语种文档场景开销最小。detect_multiple true分块检测 聚合返回所有置信度达标的语言。适合国际化文档、多语混排的客服记录、双语合同、技术手册等。需要留意的是分块聚合模式下如果没有任何分块达到min_confidence实现会回退到单语言检测mod.rs避免短文本/异常文本下输出空列表。而纯数字、纯标点、纯空白文本在任何模式下都不会返回语言相关场景均有单元测试覆盖如test_numbers_only、test_punctuation_only、test_whitespace_only见 mod.rs。契约测试与端到端验证契约层fixtures/contract多语言检测的契约定义在 language_detection_multilingual.json输入以uri方式指向 mock 服务器上的/markdown/comprehensive.mdmime_type: text/markdown由 comprehensive.md 测试文档 提供内容配置language_detection: { enabled: true, min_confidence: 0.3, detect_multiple: true }断言not_error调用不报错且results[0].detected_languages数量 ≥ 1。这个契约直接对应文档示例的行为一个包含多种文字体系的文档开启多语言检测后必须能检出至少一种语言。E2E 层C# 端到端测试C# 端到端测试 ContractTests.cs 用真实绑定跑通同一场景[Fact] public async Task Test_LanguageDetectionMultilingual() { var Input_MockBaseUrl Environment.GetEnvironmentVariable(MOCK_SERVER_LANGUAGE_DETECTION_MULTILINGUAL) ?? Environment.GetEnvironmentVariable(MOCK_SERVER_URL) /fixtures/language_detection_multilingual; var Input_Json {\kind\:\uri\,\mime_type\:\text/markdown\,\uri\:\$mock_url/markdown/comprehensive.md\}.Replace($mock_url, Input_MockBaseUrl); var result await XbergConverter.ExtractAsync(ExtractInput.FromJson(Input_Json), ExtractionConfig.FromJson({\language_detection\:{\detect_multiple\:true,\enabled\:true,\min_confidence\:0.3}})); Assert.True(result.Results[0].DetectedLanguages.Count 1, expected at least 1 elements); }同一文件中的Test_LanguageDetectionConfigContractTests.cs则验证了单语言模式对纯英文文档配置min_confidence: 0.5断言DetectedLanguages[0] eng。两个测试一单例一多例共同覆盖了语言检测的两条主路径。完整落地步骤小结引入绑定在 C# 项目中引用 Xberg 包using Xberg;即可获得XbergConverter、ExtractInput、ExtractionConfig、LanguageDetectionConfig等类型构造输入按需使用uri或bytes形式构造ExtractInput注意标注正确的MimeType如text/markdown、text/plain开启多语言检测new ExtractionConfig { LanguageDetection new LanguageDetectionConfig { DetectMultiple true, Enabled true, MinConfidence 0.3d } }其中MinConfidence按你的召回/精确度诉求在 0.0–1.0 之间调整阈值越低召回越多、噪声越多调用与读取var result await XbergConverter.ExtractAsync(input, config);随后读取result.Results[0].DetectedLanguages语言代码列表与result.Results[0].DetectedLanguageConfidences含置信度、占比、文字体系的明细结合下游任务用proportion判断文档主语言、用confidence过滤低质量判定、用script为后续 OCR/翻译选择合适后端。至此你已经掌握在 C# 中利用 Xberg 识别混合语种文档的完整链路——从配置语义、分块聚合原理到结构化输出读取与契约验证依据可以在实际项目中直接复用。赞分享后端AI 应用NLP【免费下载链接】xbergPolyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with CLI, REST API, and MCP server.项目地址https://gitcode.com/gh_mirrors/kr/xberg点击查看免费下载相关推荐xberg 语言检测实战通过 C FFI 开启 Language Detection 并读取 ISO 639-3 结果xberg 语言检测实战通过 C FFI 开启 Language Detection 并读取 ISO 639 3 结果 在 xberg 的多格式文档智能管线中后端AI 应用NLPxberg 多语言文档语言检测实战C API 配置、ISO 639-3 输出与底层分块检测原理xberg 多语言文档语言检测实战C API 配置、ISO 639 3 输出与底层分块检测原理 本文围绕 xberg 仓库中 C 语言绑定的多语言检测示例后端AI 应用NLPxberg C FFI 多语言 OCR 配置实战以 Tesseract 语言列表识别多语种文档xberg C FFI 多语言 OCR 配置实战以 Tesseract 语言列表识别多语种文档 本篇技术文章聚焦 xberg 文档智能库的 C FFI 接口中后端AI 应用NLP上一篇如何在5分钟内轻松配置罗技鼠标宏让你在PUBG中实现完美压枪下一篇PixiJS 性能优化实战指南从绘制批次、纹理管理到渲染管线调优创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
