简介一份基于Python与图卷积神经网络GCN的虚假影评/水军检测项目源码包面向具备一定机器学习基础的高校学生及大创项目团队旨在解决网络评论中水军刷评、异常群体识别等问题。项目完整覆盖了从用户-评论图构建、GCN模型设计、训练调优到实验评估的流程包含9个Python脚本、8个CSV数据文件以及BERT预训练配置、XML和JSON等辅助文件压缩包共26个文件、约14.21MB结构清晰便于直接运行与二次开发。数据侧提供猫眼长评、电影名单、电影类型等真实文本数据模型侧涵盖图邻接矩阵构建、GCN节点分类、交叉熵损失、精确率/召回率评估等关键模块。目前已有70人学习下载。通过该资源可掌握图结构数据处理、GCN模型训练与可视化、异常评论识别等实操细节同时积累从数据清洗到结果分析的一体化开发经验适合用于课程设计、毕业设计或竞赛备赛。1. 基于图卷积神经网络的虚假影评水军检测这个项目解决的是“抱团”而不是“单条”单看一条评论水军写的和普通用户写的几乎没有区别可如果把用户、评论、电影放进同一张图里水军“一批账号集中评价同一批电影、时间点又高度重叠”的抱团特征会立刻暴露。这个基于图卷积神经网络的虚假影评水军检测项目正是把猫眼长评数据建成用户-评论二部图用 BERT 把评论文本编码成节点特征再让两层 GCN 在图上传消息最终输出每条评论的嫌疑概率。数据、模型、训练、结果 CSV 全链路都齐适合想跑通第一个 GCN 实验的人也适合大创项目直接拿来做基线。它不是那种只给核心代码的 Demo而是一份能照着复现的完整源码包。2. 数据准备与图构建从猫眼长评到邻接矩阵2.1 数据文件梳理四份 CSV 分别承担什么角色项目的数据目录maoyan下有四份关键表格第一眼容易混淆的是maoyan_long_comments.csv和猫眼长评总表.csv。前者是逐条长评明细记录评论ID、用户ID、评论内容、评分、评论时间、电影ID 这些字段后者更接近一个按电影或用户维度汇总过的结果表。实操里我只把明细表作为构图输入汇总表留作结果分析时的辅助对照不会两分都喂给模型。文件职责关键字段/内容maoyan_long_comments.csv构图主数据逐条长评评论ID、用户ID、评论文本、评分、时间、电影ID猫眼长评总表.csv汇总/备份视角按电影或用户的聚合统计信息电影名单.csv电影元数据电影ID、电影名映射电影类型.csv类型标签电影ID、类型用于特征扩展与分析data_loader.py就是把这些 CSV 统一读进来最终输出三个对象节点特征矩阵X、归一化邻接矩阵A_norm、标签向量y。如果是从爬虫拿数据常见做法是先落明细再单独写去重脚本避免同一用户对同一电影的重复评论在构图时产生冗余边。2.2 BERT 向量化把评论文本变成 GCN 能用的节点特征GCN 吃的不是文本是向量。项目把bert_pretrain目录放在本地里面有bert_config.json和bert-base-chinese-vocab.txt说明作者用的是离线加载模式不需要每次启动都去拉模型权重。data_utils.py里做编码的核心逻辑是这样的from transformers import BertTokenizer, BertModel import torch def encode_comment(texts, max_len128): tokenizer BertTokenizer.from_pretrained(./bert_pretrain) model BertModel.from_pretrained(./bert_pretrain) model.eval() features [] for text in texts: inputs tokenizer.encode_plus( text, max_lengthmax_len, truncationTrue, paddingmax_length, return_tensorspt, ) with torch.no_grad(): output model(**inputs) cls_vec output.last_hidden_state[:, 0, :] # [1, 768] features.append(cls_vec.squeeze(0)) return torch.stack(features)这里取的是last_hidden_state的[CLS]位置向量而不是对所有 token 做平均池化。实际跑下来[CLS]在句子级语义表征上更稳定尤其适合“这条评论整体是吹捧还是贬低”这种判断。max_len128对电影长评够用如果评论明显偏长可以提到 256但显存占用会同步上涨。注意编码顺序必须和图节点编号严格一致。最稳的做法是先对评论ID排序再用同一个排序结果生成节点特征和邻接矩阵两边都按字典序来否则后面整张表都会错位。2.3 构图逻辑用户-评论二部图怎么建水军检测场景里最自然的图是用户-评论二部图一边节点是用户另一边节点是评论。用户节点和评论节点之间连一条边表示“该用户写了这条评论”。这一步把“谁在写什么”直接编码进了结构里GCN 才能在后续传播中学到“哪些用户和哪些评论绑定得异常紧密”。构造邻接矩阵时评论节点编号从用户数之后开始避免两类节点编号冲突import numpy as np from scipy.sparse import coo_matrix def build_adj(user_ids, comment_ids, n_users, n_comments): row user_ids col n_users comment_ids # 评论节点排在用户节点后面 data np.ones(len(user_ids), dtypenp.float32) adj coo_matrix( (data, (row, col)), shape(n_users n_comments, n_users n_comments), ) return adj拿到原始邻接矩阵后还要加自环并做对称归一化否则模型训练时大概率出 NaNdef normalize_adj(adj): adj adj np.eye(adj.shape[0]) # 加自环 deg np.array(adj.sum(1)).flatten() deg_inv_sqrt np.power(deg, -0.5) deg_inv_sqrt[np.isinf(deg_inv_sqrt)] 0.0 return adj.multiply(deg_inv_sqrt[:, None]).multiply(deg_inv_sqrt[None, :])用D^{-1/2} A D^{-1/2}而不是直接乘A是因为直接乘原始邻接矩阵时度大的节点在聚合时会压过度小的节点。归一化之后无论一个用户写了几百条评论还是一个普通用户只写一条特征尺度都在同一量级。这一步属于图卷积的标配操作谁跳过谁踩坑后面避坑章节会专门展开。3. 模型核心两层 GCN 的实现细节与参数选型3.1 graph_model.py 里的前向传播逻辑model.py负责模型封装入口graph_model.py是图卷积的核心实现。GCN 的单层传播公式是H^(l1) σ(A_norm · H^(l) · W^(l))落到代码上import torch import torch.nn as nn import torch.nn.functional as F class GCNLayer(nn.Module): def __init__(self, in_dim, out_dim): super().__init__() self.linear nn.Linear(in_dim, out_dim) def forward(self, x, adj_norm): # adj_norm 是已经做过对称归一化的稀疏矩阵 support self.linear(x) # [N, out_dim] return torch.spmm(adj_norm, support) class GCN(nn.Module): def __init__(self, in_dim, hidden_dim, out_dim, dropout): super().__init__() self.gc1 GCNLayer(in_dim, hidden_dim) self.gc2 GCNLayer(hidden_dim, out_dim) self.dropout nn.Dropout(dropout) def forward(self, x, adj_norm): h self.gc1(x, adj_norm) h F.relu(h) h self.dropout(h) out self.gc2(h, adj_norm) return out两层 GCN 意味着每个节点最终看到的是 2 阶邻居加权信息用户 → 评论 → 其他用户。这条路径恰好覆盖水军的行为特征——同一个水军群组的账号会反复给同一批电影写评论两层传播足够把它们聚到一起。如果只堆一层模型退化成就看直接连接的节点等于丢掉了“群体抱团”这个最关键的判别信号。torch.spmm是稀疏矩阵乘法adj_norm保持稀疏格式能省不少内存。默认out_dim2对应水军/非水军两类输出最终通过 logits 过 softmax 得到概率。3.2 config.py 里的超参数怎么调项目的config.py把所有可调参数集中管理省去了翻代码找参数值的麻烦这是大创项目里很值得保留的习惯。典型的参数配置长这样class Config: hidden_dim 64 dropout 0.5 lr 0.01 weight_decay 5e-4 epochs 200 max_len 128 bert_path ./bert_pretrain data_path ./maoyan/maoyan_long_comments.csv seed 42逐个说怎么调hidden_dim64几千到上万节点规模的图完全够用数据量再大往上提到 128 收益才明显。dropout0.5必须开。图模型在小数据上极其容易过拟合我试过关掉 dropout训练集 acc 三五个 epoch 就冲到 90% 以上验证集一塌糊涂。lr0.01配合 Adam 时这个学习率起手很快如果 loss 曲线震荡明显降到0.001更稳。epochs200这个规模的图 100 到 200 轮足够收敛能早停就在 val 上挂一个 early stopping省时间。seed42固定随机种子。水军样本少不固定种子的话换一次运行 F1 可能差好几个点评估报告都没法写。3.3 损失函数和评估口径为什么 F1 比 accuracy 更能说明问题模型是二分类输出最直接的损失函数是交叉熵PyTorch 里就是nn.CrossEntropyLoss()。真正容易出问题的不是损失函数而是评估指标。假设测试集里水军评论只占 5%模型只要全预测成非水军accuracy 就能到 95%可实际上一个水军都没抓住。指标计算方式关注点PrecisionTP / (TP FP)预测成水军的评论里多少真抓对了RecallTP / (TP FN)真实水军评论里模型找回了多少F12 * Precision * Recall / (Precision Recall)两者的调和平均类别不平衡下最值得看计算的时候用sklearn一行搞定from sklearn.metrics import precision_recall_fscore_support p, r, f1, _ precision_recall_fscore_support( y_true, y_pred, averagebinary, pos_label1 ) print(fPrecision{p:.4f}, Recall{r:.4f}, F1{f1:.4f})写结果 CSV 时除了存 0/1 标签强烈建议把预测概率也一起存下来。后面调阈值、做概率分布分析都要用只存标签的话一切阈值相关的后处理都得重训很不值。4. 训练复现train.py、TensorBoard 日志与结果 CSV 对照4.1 环境准备从 Python 安装到依赖装齐项目基于 Python 生态建议直接用虚拟环境隔离别把依赖装进系统 Python。Python 3.7 或 3.8 都可以安装好之后建虚拟环境并装依赖python -m venv .venv source .venv/bin/activate pip install torch transformers pandas numpy scipy scikit-learn tensorboardtransformers的版本要注意这个项目用本地bert_pretrain目录加载模型transformers3.x 到 4.x 早期版本都兼容得比较好装太新的版本反而可能因为 API 变动导致加载报错。如果你的机器有 CUDAtorch装对应的 cu 版本只有 CPU 也能跑全套就是 BERT 编码阶段会慢不少。编码一次跑完把特征存成.npy文件下次训练直接加载能省掉反复编码的重复开销。4.2 启动训练train.py 跑起来之后该看什么确认config.py里的data_path、bert_path路径正确后直接启动python train.py训练过程中终端会打印当前 epoch、loss、train acc 这类信息。同时train.py会把事件文件写到log/目录下文件名类似events.out.tfevents.1690784923.York.19112.0这就是 TensorBoard 的标准格式。另开一个终端tensorboard --logdirlog --port6006浏览器打开http://localhost:6006能看到 loss 曲线和验证准确率曲线。判断训练正不正常有两个标准loss 前几十个 epoch 快速下降然后趋于平缓验证集 acc 在六到八成的区间波动。不要指望这类任务冲到 95% 以上水军检测本身不是线性可分问题结构特征再强也有模糊地带。4.3 结果 CSV 怎么对照result1(7.25).csv 和 result(7.26).csv项目里有两个原始结果文件result1(7.25).csv和result(7.26).csv从命名看是作者在不同日期各跑了一版。加载到 pandas 里查看import pandas as pd res pd.read_csv(result(7.26).csv) print(res.head()) print(res[pred].value_counts())结果 CSV 里一般会带上评论ID、真实标签、预测标签、预测概率这几个字段。先做两件事看总行数是否和测试集评论数一致再看标签分布是否合理。经常有人把两个结果文件搞混分析半天发现用的是旧版本数据都换了还在拿它下结论。我的习惯是加载之后立刻打印res.shape和唯一标签个数确认无误再继续。训练和测试的数据划分也很重要常见做法是按评论时间排序前 80% 作为训练节点后 20% 作为测试节点。这样能模拟“用历史数据识别未来新评论”的真实场景比随机划分更有说服力写大创报告时也更好解释。5. 常见避坑图卷积水军检测里的五个翻车点5.1 数据与构图阶段的坑现象一训练没几个 epochloss 直接变 NaN。原因邻接矩阵没有加自环也没有做对称归一化。图里总有那种“评论狂”用户度非常大直接乘原始邻接矩阵时数值在矩阵乘法里越滚越大最终溢出。原因明确后解决就是两句话adj np.eye(n)补自环再用D^{-1/2} A D^{-1/2}归一化。训练开始前打印一次adj_norm的度分布确认值域收敛在[-1, 1]附近再启动训练。现象二特征矩阵和图节点对不上模型训练全程都是噪声。原因很典型的顺序错位。data_utils.py按 dataframe 原始顺序编码 BERT 特征但构图时却按用户ID、评论ID 重新排了序两边编号规则不一致特征就串了。解决方法是把“节点编号 → 原始行号”的映射存成一个字典特征、标签、邻接矩阵全部通过同一个映射取数。我一般会先对评论IDsort_values让编码和构图都基于同一份排序后的列表双保险。5.2 训练与评估阶段的坑现象三训练集 acc 极高测试集 acc 直接掉到五成左右。原因这是半监督图模型最容易踩的泄漏问题。训练节点和测试节点在同一个图里消息传递会把测试节点的信息沿边传给训练节点训练过程相当于“作弊”。解决思路是构图阶段就把训练和测试区域隔开按时间切块测试节点集中在新时间段内或者按电影切分用一部分电影做验证让训练节点和测试节点之间没有直接的图路径。现象四F1 分数忽高忽低同一个模型跑三次结果对不上。原因测试集里水军样本本身只有百来十条随机种子一变正例在训练集和测试集里的分配就变了指标跟着大幅波动。解决方法是先固定seed42再对测试集做分层采样保证测试集正样本比例和全量一致。报告指标时不要只报一次结果跑至少三遍取 F1 均值和标准差3.2 节里设置seed参数的意义也在这里。现象五拿旧结果文件当新实验的结论。原因result1(7.25).csv和result(7.26).csv是两次不同实验的产物文件名日期版本不够清晰分析时很容易载入旧数据还以为是刚训练出来的输出。解决方法是输出文件强制带上参数语义比如result_gcn64_ep200_0726.csv这种命名。加载前用pd.read_csv先看一眼行数和标签分布确认和你当次训练的输出一致再往下做这算是我交过学费之后养成的固定检查项。6. 结果验证从预测概率到水军用户画像拿到预测结果后先别急着写“模型效果良好”的结论把预测概率分布拉出来看一眼这一步比任何指标都直观import pandas as pd import matplotlib.pyplot as plt res pd.read_csv(result(7.26).csv) res[prob].hist(bins50) plt.show()如果概率大量集中在 0.05 以下和 0.95 以上模型属于过度自信阈值可以往 0.5 上方微调如果概率全挤在 0.4 到 0.6 之间说明特征区分度不够问题大概率出在构图阶段而不是模型本身。更硬的验证方式是反查用户行为。把预测概率大于 0.8 的评论取出来聚合到用户维度看这些用户是不是集中评价同一批电影、评论时间是否扎堆、文本结构是否相似。这一步不需要训练但对交付结果最有说服力——直接回答“你抓的水军到底凭什么判定是水军”这个灵魂拷问。至于新电影冷启动项目有一个天然局限新电影没有历史评论建不出子图GCN 没有边可用。我一般先用 BERT 编码拿到语义特征再把它作为独立子图挂到现有图上做零样本预测如果冷启动场景是常态更根本的解法是构图阶段把电影节点也放进去让新电影至少先和所属类型、同档期电影产生关联。从那以后我每次拿到图模型项目第一件事不再是急着调参而是先检查邻接矩阵的度分布和节点对齐这两点确认干净之前绝不启动训练——这个习惯帮我省掉了至少一半的 NaN 和错位问题。希望帮到你。本文还有配套的精品资源点击获取
