Qwen3-Coder FIM 基准评测实战CrossCodeEval、CrossCodeLongEval、RepoEval 与 humaneval-infilling 完整指南【免费下载链接】Qwen3-CoderQwen3-Coder is the code version of Qwen3, the large language model series developed by Qwen team.项目地址: https://gitcode.com/GitHub_Trending/co/Qwen3-Coder本篇技术指南以 Qwen3-Coder 仓库中 fim-bench 评测模块 为骨架系统讲解 Fill-In-the-MiddleFIM类代码补全基准的评测流程从数据准备、脚本调用、上下文模式选择到指标计算与结果解读。读完本文你将掌握在本地复现 CrossCodeEval、CrossCodeLongEval、RepoEval、humaneval-infilling 四类 FIM 评测的完整实操能力并理解评测脚本底层如何构造 prompt、如何利用 tree-sitter 做语法级后处理、如何计算 EM/ES 等核心指标。一、FIM 评测在 Qwen3-Coder 评测体系中的定位Qwen3-Coder 是 Qwen 团队发布的代码版大语言模型系列其评测体系qwencoder-eval覆盖 base、instruct、reasoning 等多类模型的全面能力验证。其中qwencoder-eval/base/benchmarks/fim-bench/专门面向FIMFill-In-the-Middle中间填充任务——即给定代码的前缀prefix和后缀suffix让模型补全中间被挖空的部分。这是代码补全工具如 IDE 自动补全、AI 编程助手最核心的底层能力之一。该模块的目录结构清晰地反映了评测的组织方式qwencoder-eval/base/benchmarks/fim-bench/ ├── cceval/ # CrossCodeEval 评测数据与脚本 ├── cclongeval/ # CrossCodeLongEval 评测数据与脚本 ├── hm_fim/ # humaneval-infilling 评测数据与脚本 ├── repoeval/ # RepoEval 评测数据与脚本 ├── run_cceval.sh # 各基准的启动脚本 ├── run_cclongeval.sh ├── run_repoeval.sh ├── run_hm_fim.sh ├── eval_metric.py # 指标计算与 tree-sitter 后处理 └── utils.py # prompt 构造与 FIM 特殊 token 处理四个基准从不同维度检验 FIM 能力CrossCodeEval 侧重多语言跨文件上下文cross-file contextCrossCodeLongEval 侧重长距离代码块的补全RepoEval 侧重仓库级 API/函数/行级补全humaneval-infilling 则基于经典 HumanEval 改造为挖空补全形式。下文逐一展开。二、环境准备与依赖说明官方 README 对环境的要求非常精简但结合源码可梳理出完整依赖链tree-sitter 0.20.1README 明确指出此版本要求。tree-sitter 用于代码的语法树解析是评测后处理判断生成结果是否语法合法、抽取函数体的关键依赖vLLM所有评测脚本通过from vllm import LLM, SamplingParams加载模型并进行批量推理见 cceval.py推理时使用temperature0, top_p1的贪婪解码并通过tensor_parallel_size支持多 GPU 张量并行transformers用于加载AutoTokenizer构造 prompt见 cceval.py其他fuzzywuzzy、editdistance、numpy、timeout_decorator、tqdm等用于指标计算与进度展示见 eval_metric.py 的导入部分。需要注意的是所有启动脚本均以export LC_ALLPOSIX开头并设置export TOKENIZERS_PARALLELISMfalse避免多进程 tokenizer 冲突与export VLLM_ALLOW_LONG_MAX_MODEL_LEN1允许 vLLM 处理较长序列。三、CrossCodeEval多语言跨文件上下文代码补全3.1 数据准备CrossCodeEval 的数据以压缩包形式内置于仓库cd qwencoder-eval/base/benchmarks/fim-bench/cceval bash prepare_data.shprepare_data.sh 的实际逻辑非常简单创建processed_data目录并将crosscodeeval_data.tar.xz解压到其中。解压后即得到各语言python、java、csharp、typescript的评测 prompt 文件。3.2 运行评测bash ./run_cceval.sh 模型路径 输出目录 tp三个位置参数的含义参数说明模型路径预训练模型的路径本地目录或 HuggingFace 模型名需含 tokenizer输出目录评测结果的保存目录脚本会在此目录下创建cceval/子目录tp并行 GPU 数量即 vLLM 的tensor_parallel_size见 cceval.py从 run_cceval.sh 可以看到完整命令python cceval/cceval.py \ --task line_completion \ --model_type codelm_right_cfc_left \ --model_name_or_path ${INPUT_MODEL} \ --cfc_seq_length 2048 \ --right_context_length 2048 \ --prompt_file cceval/processed_data/LANGUAGE/line_completion_oracle_bm25.jsonl \ --gen_length 50 \ --max_seq_length 8192 \ --output_dir ${OUTPUT_DIR} \ --dataset cceval \ --tp ${TP} \ --ts_lib build/LANGUAGE-lang-parser.so \ --language python java csharp typescript3.3 是否使用 cross-file context两种上下文模式README 强调脚本通过model_type参数控制两种上下文模式。结合 utils.py 的prepare_prompt函数两种模式的 prompt 构造方式如下codelm_right_cfc_left启用跨文件上下文模式。prompt 结构为{fim_prefix}{左侧截断上下文}{fim_suffix}{右侧上下文}{cross-file 上下文}{fim_middle}其中 cross-file 上下文来自检索到的同仓库其他文件会拼接到后缀之后、middle token 之前codelm_leftright_context禁用跨文件上下文模式。prompt 结构为{fim_prefix}{左侧上下文}{fim_suffix}{右侧上下文}{fim_middle}不注入 cross-file 上下文。humaneval-infilling 使用的正是该模式见 run_hm_fim.sh。在 cceval.py 的参数定义中--model_type的可选值为codelm、codelm_cfc、codelm_leftright_context、codelm_right_cfc_left默认codelm但prepare_prompt目前只实现了codelm_leftright_context与codelm_right_cfc_left两种分支其余会抛出NotImplementedError因此实际可用的就是这两种模式。另外值得注意prepare_prompt会根据模型名自动匹配 FIM 特殊 token见 utils.py模型名匹配prefix tokenmiddle tokensuffix tokendeepseekfim_beginfim_endholeqwen1.5fim_prefixfim_middlefim_suffixqwen含 Qwen3-Coder\|fim_prefix\|\|fim_middle\|\|fim_suffix\|其他fim_prefixfim_middlefim_suffix3.4 主要参数说明README 列出了四个核心参数结合源码可补充其默认值与截断逻辑参数README 说明默认值源码截断逻辑cfc_seq_length跨文件上下文最大长度512对\n\n crossfile_cxt编码后取前cfc_seq_length个 tokenright_context_length右侧上下文最大长度512对右侧上下文编码后取前right_context_length个 tokengen_length代码补全生成长度50采样时作为max_tokens若任务为function_completion会自动提升为 256见 utils.pymax_seq_length总序列最大长度2048README 中评测用 8192左侧上下文截断为max_seq_length - gen_length - right_context_length - cfc_seq_length个 token除 README 列出的参数外源码还支持--taskline_completion/function_completion/api_completion三选一必填、--num_return_sequences默认 1、--dataset默认cclong、--only_compute_metric、--compute_cceval_metric等见 cceval.py。四、CrossCodeLongEval长距离代码块补全CrossCodeLongEval 关注更长距离的代码补全场景跨更远的上下文挖空补全与 CrossCodeEval 共用同一套评测框架cclong.py 的推理逻辑与 cceval.py 基本一致。4.1 数据准备cd qwencoder-eval/base/benchmarks/fim-bench/cclongeval bash prepare_data.sh该目录内置了cceval_chunk_eval_data.tar.gz与cceval_function_eval_data.tar.gz两个数据包prepare_data.sh负责解压生成processed_data下的评测文件。4.2 运行评测bash ./run_cclongeval.sh 模型路径 输出目录 tp从 run_cclongeval.sh 可见其核心差异任务为chunk_completion与function_completion两个prompt 文件模板为cclongeval/processed_data/python_TASK_sparse_oracle.jsonlTASK会被替换为具体任务名且仅评测 Python 语言。同样使用codelm_right_cfc_left模式与--ts_lib build/python-lang-parser.so的 tree-sitter 解析库。值得一提的是cclong.py 在构造数据时会优先使用full_right_context完整右侧上下文作为后缀这有助于检验模型在长距离上下文下的补全能力。五、RepoEval仓库级三种补全任务RepoEval 将评测细分为三类仓库级补全任务直接对应--task参数的三个取值bash ./run_repoeval.sh 模型路径 输出目录 tprun_repoeval.sh 中一次运行line_completion、function_completion、api_completion三个任务line_completion行级补全挖空某一行代码检验模型的短距离行内补全能力function_completion函数级补全挖空整个函数体生成长度在 utils.py 中被自动放大为 256 tokenapi_completionAPI 级补全基于仓库内 API 调用习惯进行补全更贴近真实工程场景。该评测的 prompt 数据已预置于 repoeval/processed_data 目录每种任务均提供三个变体文件python_api_completion.jsonl、python_function_completion.jsonl、python_line_completion.jsonl以及对应的_sparse_oracle、_sparse_rg1版本用于测试不同检索/稀疏策略下的输入同时提供repocoder_packages.jsonl记录仓库与包的映射信息。仓库级上下文通过codelm_right_cfc_left模式注入评测语言为 Python。六、humaneval-infilling经典 HumanEval 挖空补全bash ./run_hm_fim.sh 模型路径 输出目录 tp与前三个基准不同humaneval-infilling 采用codelm_leftright_context模式不注入 cross-file 上下文专注于纯粹的前缀-后缀挖空补全。从 run_hm_fim.sh 可见其输出目录会自动追加humaneval-infilling子目录。数据方面hm_fim/data 内置了fim_singleline.jsonl单行挖空样本与train.parquet并提供 preprocess.py 用于数据预处理。评测打分逻辑在 humaneval_fim.py 的evaluate_results中对模型生成结果取第一行、与标准答案做字符串精确匹配exact_match_rate和 fuzzywuzzy 编辑相似度average_edit_similarity统计并按语言维度汇总后输出 overall 结果评测报告使用 rich 表格打印。七、指标计算与结果解析EM / ES / ES RepoEval所有基准共享 eval_metric.py 中的指标体系READM 虽未展开但这是理解评测结果的关键7.1 三项核心指标EMExact Match精确匹配率将预测与标准答案按正则做 token 化tokenize_code含 camelCase 拆分、标点分隔、引号统一判断 token 序列是否完全一致后取平均ESEdit Similarity编辑相似度基于 fuzzywuzzy 的fuzz.ratio计算的字符串相似度均值ES RepoEval基于editdistance的归一化编辑距离相似度1 - edit_distance / max_len是 RepoEval 官方推荐的评估口径。7.2 tree-sitter 语法级后处理评测并非简单对比生成文本而是先做语法有效性校验is_parse_valid利用 tree-sitter 解析prompt completion检查 AST 中是否存在ERROR节点eval_metric.pyget_valid_completion若整体不可解析则从完整补全逐步截断字符找到最长可解析前缀返回parseable状态eval_metric.pyget_function_completion对 function_completion 任务用get_functions提取目标函数体后再与标准答案比较eval_metric.py。tree-sitter 解析库通过--ts_lib参数指定如build/python-lang-parser.so多语言评测时LANGUAGE占位符会被替换且csharp会映射为 tree-sitter 的c_sharp语言名见 eval_metric.py。后处理与打分使用多进程并行mp.Pool(mp.cpu_count() - 1)加速。7.3 输出文件与结果汇总运行完成后输出目录下会生成结构化结果{output_dir}/{dataset}/{language}/{task}/prediction.jsonl模型原始预测每条含task_id、pred、task_type、inputs其中 pred 已按|fim_pad|、|file_sep|截断见 cceval.py{output_dir}/{dataset}/{language}/{task}/detailed_results.json逐样本的em、es、es_repoeval明细{output_dir}/{dataset}/{language}/{task}/results.json该任务/语言的汇总指标{output_dir}/{dataset}/results.json整体汇总按样本数加权的 EM/ES/ES RepoEval含overall与per_task/per_language两个层级见 eval_metric.py。八、评测要点小结上下文模式选择仓库级基准CrossCodeEval/CrossCodeLongEval/RepoEval默认使用codelm_right_cfc_left注入跨文件上下文humaneval-infilling 使用codelm_leftright_context纯前后缀模式参数三要素模型路径、输出目录、GPU 并行数tp三个位置参数即满足最小运行要求其余参数均有合理默认值Qwen 系模型自动适配prepare_prompt会为 Qwen 系模型自动使用|fim_prefix|、|fim_middle|、|fim_suffix|三 token 模板评测 Qwen3-Coder 无需额外配置评测质量保障tree-sitter 语法校验 最长可解析前缀截断保证指标反映的是合法代码而非文本巧合匹配环境约束tree-sitter 需为 0.20.1推理依赖 vLLM建议启用 Ray 分布式后端生成时采用贪婪解码以保证可复现性。通过本指南你可以在 Qwen3-Coder 评测体系下完整复现四类 FIM 基准的评测链路并结合results.json与detailed_results.json深入分析模型在不同语言、不同补全粒度上的具体表现。【免费下载链接】Qwen3-CoderQwen3-Coder is the code version of Qwen3, the large language model series developed by Qwen team.项目地址: https://gitcode.com/GitHub_Trending/co/Qwen3-Coder创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
