简介随着电子商务规模扩大商品信息爆炸式增长用户难以快速找到所需商品电商平台迫切需要个性化推荐系统来解决用户流失问题。这份资源就是针对这一需求而设计的毕业设计论文适合计算机、电子商务、大数据相关专业学生以及推荐系统开发者参考学习。资源以PDF格式呈现共1个文件压缩包大小约3MB目前已有470人学习下载。论文内容完整从系统开发背景、目的、系统分析入手详细阐述了系统功能、业务流程和可行性在体系架构设计中采用分层架构覆盖离线推荐、实时推荐和业务系统三个部分并设计了数据模型系统实现部分包含MongoDB、Spark、Zookeeper、Kafka等组件的环境配置以及数据加载、统计服务和商品相似度计算的具体实现最后还提供了系统测试的目标与方法。读者可借此掌握电商推荐系统的完整技术方案学习大数据处理与分布式计算的落地实践为毕业设计或实际项目提供可靠的参考。1. 这套毕设真正要交付的不是算法而是一条完整数据链路很多人接到“基于大数据的电商个性化推荐系统”这个毕业设计题目时第一反应是“这不就是写个协同过滤嘛”。真正上手才发现本地 Jupyter 里跑通的 ItemCF搬到 Hive Spark 环境里就各种翻车推荐结果永远是一批热门商品论文里写的“个性化”答辩时根本讲不出依据。这个题目要拿高分关键不是把一个算法调得多么花哨而是把数据采集、存储、清洗、特征构造、模型训练、结果展示到论文图表这条链路完整跑下来让评委看到你知道每一步为什么这么做、数据在哪里处理、换了数据会不会崩。这篇笔记适合正在做大数据方向毕业设计的学生也适合想快速搭一套电商推荐 Demo 做技术验证的工程师。2. 电商推荐系统的整体设计离线训练为主在线演示为辅2.1 先把推荐链路拆成四层数据、存储、计算、应用推荐系统不是一个算法就能撑起来的。我一般把整个系统拆成四层数据采集层、存储层、计算层、应用层。数据采集层负责拿到原始用户行为日志存储层用 HDFS 保存原始数据和中间结果计算层用 Hive 写清洗、用 Spark 跑特征与模型应用层用 Flask 提供接口再用 ECharts 做前端展示。这样分层的好处是每一层都可以独立替换论文里也好画架构图评委问“数据从哪来”“存哪里”“在哪算”你都能指到具体位置。毕设阶段不要贪实时推荐。实时推荐意味着要接 Kafka、用 Spark Streaming 或 Flink 处理实时行为还要维护在线特征缓存工程复杂度翻了一倍不止。而电商场景里T1 更新已经能覆盖大部分业务。我的做法是离线每天产出一份用户 TopN 推荐表Flask 读取这份表做展示如果演示需要“实时感”再在接口里加一个“看过即推荐”的规则用 Redis 存最近浏览记录按相似商品列表当场召回。这样既有离线算法的深度又有在线交互的效果论文里可以解释成“离线计算 在线召回”的两级架构。2.2 技术栈怎么选能跑通比时髦更重要技术选型上要克制。常见的高分搭配就一套HDFS Hive 做存储清洗Spark MLlib 的 ALS 做核心模型Flask ECharts 做应用层。下面是我通常推荐的选型表层次选型理由数据存储HDFS Hive原始日志存 HDFS清洗用 Hive SQL工作量可见且可控特征与模型Spark MLlib ALS矩阵分解适合隐式反馈Spark 原生支持不需要额外引入 MLflow在线接口Flask轻量一个 app.py 就能搞定答辩演示最容易跑起来前端展示ECharts柱状图、关系图、用户行为路径图都好出图工作量不大任务调度Crontab离线训练每天一次crontab 足够不需要上 Airflow版本搭配也值得说一句。我一般用 Spark 2.4.x Python 3.6/3.7 PySparkHadoop 选 2.7 或 3.x。不要盲目上新版 Spark 3.x部分机器学习组件 API 有变化你在网上找到的老教程可能直接报错。大数据架构通常包括四个层次采集、存储、计算、应用毕设论文里按这个结构写目录层次会很清晰。如果机器只有 8G 内存不要开三台虚拟机硬撑。单机 Hadoop 伪分布式 Spark local[*] 完全够跑一份千万级行为数据。大数据集群部署策略的关键不在机器数量而在内存和并行度设置。集群节点多了网络和磁盘 IO 反而可能拖慢训练。2.3 数据从哪来优先用公开电商行为数据集毕设阶段最靠谱的是阿里天池的 UserBehavior-淘宝用户行为数据集。它包含约一亿条行为记录字段有 user_id、item_id、category_id、behavior_type、timestamp。behavior_type 有四种取值pv、fav、cart、buy对应浏览、收藏、加购、购买这是电商推荐论文最标准的隐式反馈数据。不要自己写爬虫去抓电商平台。合规问题先不说光是反爬、登录校验、数据格式解析就会消耗你大量时间而且抓回来的数据噪声极大清洗工作能让你崩溃。如果你想在论文里加入商品名称、价格等商品侧特征可以另找公开的商品信息表做 join或者明确说明商品侧特征暂时只用到类目。MovieLens 适合做通用推荐算法学习但不适合直接拿来做电商毕设。它是显式评分数据没有浏览、加购、购买的行为语义。导师看到你论文里写“用户点击行为”但数据集只有评分他会追问你怎么区分 pv 和 buy。这个数据语义的错位很难圆回来。2.4 Hive 建表先定义好表结构后面才不会反复改拿到数据第一步不是训练模型而是把表建好。我最常用的是分区表按日期分区训练时直接读需要的日期范围避免每次全表扫描。CREATE TABLE IF NOT EXISTS user_behavior ( user_id BIGINT COMMENT 用户ID, item_id BIGINT COMMENT 商品ID, category_id BIGINT COMMENT 类目ID, behavior STRING COMMENT 行为类型: pv/fav/cart/buy, ts BIGINT COMMENT 行为时间戳, 秒级 ) PARTITIONED BY (dt STRING COMMENT 日期分区, 如20240101) ROW FORMAT DELIMITED FIELDS TERMINATED BY , STORED AS TEXTFILE;字段类型这里有几个细节。user_id、item_id 用 BIGINT不要用 STRING否则后续 join 时频繁类型转换会拖慢速度behavior 用 STRING 而不是 INT是为了原始数据可读性高清洗时再用 CASE WHEN 转权重ts 用 BIGINT 而不是 STRING是因为时间范围过滤和排序更可靠。数据从下载目录上传到 HDFS 后用 LOAD DATA 加载LOAD DATA LOCAL INPATH /home/user/user_behavior.csv INTO TABLE user_behavior PARTITION (dt20240101);注意 LOCAL 关键字不写 LOCAL 表示从 HDFS 路径加载。加载完执行SELECT * FROM user_behavior LIMIT 5验证一下字段是否对齐。天池原始数据只有四列加时间戳没有日期列加载时要自己指定 dt 分区值或者先加一列日期再分区。建表时写清楚注释是很好的习惯答辩时截图表结构比干讲更有说服力。3. 数据清洗与特征构造推荐效果差八成是数据问题3.1 先清洗原始行为日志去重、去异常、补类目公开数据集虽然是结构化日志但直接拿来用问题很多。同一个用户同一秒点同一个商品会出现重复记录部分类目 ID 为 0 或为空偶尔会有购买记录但没有对应的浏览记录。论文里必须有专门一节写清洗规则这体现的是工程能力。第一步是去掉完全相同的重复记录。注意这里不要用 DISTINCT因为 DISTINCT 会把同一用户同一天里两次真正不同的行为状态当成一条合并掉。正确做法是用窗口函数按 user_id、item_id、ts 三个字段同时分组保留一条INSERT OVERWRITE TABLE user_behavior_clean PARTITION (dt20240101) SELECT user_id, item_id, category_id, behavior, ts FROM ( SELECT user_id, item_id, category_id, behavior, ts, ROW_NUMBER() OVER ( PARTITION BY user_id, item_id, ts ORDER BY ts ) AS rn FROM user_behavior WHERE dt 20240101 AND user_id IS NOT NULL AND item_id IS NOT NULL AND category_id IS NOT NULL AND category_id ! 0 ) t WHERE rn 1;窗口函数 PARTITION BY user_id, item_id, ts 的含义是同一用户、同一商品、同一秒内发生的行为只保留一次。如果同一秒内既有 pv 又有 cart理论上不会出现因为同一事件流里两个行为不可能共用同一秒一旦出现说明原始数据本身有时间粒度问题保留其中一条即可。为什么不用 DISTINCTDISTINCT 去重的粒度是整个行只要事件属性稍有不同比如 pv 和 cart就会被当成两条不同记录起不到“同一秒重复点击”的作用。第二步是剔除异常用户和异常商品。有的用户可能是爬虫一天产生上万条点击有的商品可能只有购买记录没有浏览和加购记录。这里有一组常见阈值单用户行为量超过 5000 的剔除单商品被行为量少于 3 的剔除。INSERT OVERWRITE TABLE user_behavior_clean PARTITION (dt20240101) SELECT user_id, item_id, category_id, behavior, ts FROM user_behavior_clean a WHERE NOT EXISTS ( SELECT 1 FROM ( SELECT user_id, COUNT(1) AS cnt FROM user_behavior_clean WHERE dt 20240101 GROUP BY user_id HAVING COUNT(1) 5000 ) b WHERE a.user_id b.user_id );5000 和 3 这两个值怎么定的看你整体数据量。数据量大可以放宽到 10000 和 5数据量小就放宽到 2000 和 2。原则是“保证每个用户和商品都有足够行为参与建模”而不是追求数据量最大化。3.2 时间窗口切分训练集和测试集不能随机切推荐系统的数据切分一定要按时间不能用随机切。随机切会把未来行为泄露到训练集离线指标虚高但一上演示就原形毕露。我常用的切法是前 7 天做训练第 8 天做测试测试集只看购买行为。CREATE TABLE train_set AS SELECT user_id, item_id, behavior, ts FROM user_behavior_clean WHERE dt BETWEEN 20240101 AND 20240107; CREATE TABLE test_set AS SELECT user_id, item_id, ts FROM user_behavior_clean WHERE dt 20240108 AND behavior buy AND user_id IN (SELECT DISTINCT user_id FROM train_set);为什么测试集要加user_id IN (SELECT DISTINCT user_id FROM train_set)因为 ALS 只能对训练中见过的用户做向量表示新用户没有历史行为推荐结果没有依据。保留训练集和测试集用户交集才能保证评估的是“已知用户的未来行为预测能力”而不是冷启动能力。冷启动要单独讨论不能混进主实验。3.3 行为权重映射把日志转成用户商品评分矩阵ALS 算法输入是 (userId, itemId, rating) 三元组但电商原始数据里没有 rating。要把行为日志映射成隐式反馈评分。常见做法是给不同行为赋不同权重pv1fav2cart3buy4。这个权重不是拍脑袋它的逻辑是行为强度递进从“看过”到“想要”再到“拥有”。行为类型含义默认权重pv浏览1fav收藏2cart加购3buy购买4用 PySpark 读清洗后的 Hive 表然后做权重映射并按用户和商品聚合from pyspark.sql import functions as F train spark.sql(SELECT user_id, item_id, behavior FROM train_set) df train.select( user_id, item_id, F.when(F.col(behavior) pv, 1) .when(F.col(behavior) fav, 2) .when(F.col(behavior) cart, 3) .when(F.col(behavior) buy, 4) .alias(rating) ) user_item df.groupBy(user_id, item_id).agg( F.sum(rating).alias(rating) ) user_item user_item.filter(F.col(rating) 0)有人会问同一个用户买了同一个商品 5 次rating 按 SUM 叠加后变成 20会不会太高在隐式反馈场景里SUM 保留的是“行为强度”重复购买确实代表更高的偏好所以叠加是合理的。但要注意如果用户行为量差异极大可以再对 rating 做 log1p 变换把长尾压一压user_item user_item.withColumn( rating, F.log1p(F.col(rating)) )聚合后建议统计一下矩阵稀疏度这个数字后面写论文会用到user_cnt user_item.select(user_id).distinct().count() item_cnt user_item.select(item_id).distinct().count() interactions user_item.count() sparsity 1 - interactions / (user_cnt * item_cnt) print(fusers: {user_cnt}, items: {item_cnt}, interactions: {interactions}) print(fsparsity: {sparsity:.6f})天池这份数据清洗后稀疏度通常在 99.9% 以上这是正常现象。如果算出来不到 90%说明你的数据量太小或者过滤阈值设得太低。4. 推荐算法怎么选、怎么实现ALS 为主ItemCF 做基线4.1 为什么主模型选 ALS 矩阵分解理由有三个。第一电商行为数据是隐式反馈ALS 家族算法天然适配这种“没有评分但有行为”的场景。第二Spark MLlib 里有现成实现不需要写复杂训练循环。第三矩阵分解有明确的数学过程论文里可以写出损失函数、交替优化步骤答辩时算法深度站得住。ItemCF 可以作为基线模型因为它的业务解释非常直观用户看了商品 A系统找到和 A 相似的 B推荐出去。两者对比正好撑起实验章节。ALS 的核心思想是把用户商品矩阵分解成两个低维矩阵用户因子矩阵和商品因子矩阵。交替最小二乘的意思是固定用户矩阵优化商品矩阵再固定商品矩阵优化用户矩阵反复迭代直到收敛。这个思路在论文里写清楚就行实现交给 Spark。4.2 ItemCF 基线基于商品共现的“看了又看”ItemCF 的第一步是求商品相似度。常见做法是基于用户行为的共现两个商品被越多同一用户行为过它们越相似。这里直接算全矩阵比较耗时更稳的做法是利用 Spark 的自连接再保留每个商品的 Top50 相似商品from pyspark.sql import Window from pyspark.sql import functions as F interactions user_item.selectExpr( user_id as u, item_id as i, rating as r ) item_cf interactions.alias(a).join( interactions.alias(b), F.col(a.u) F.col(b.u) ).select( F.col(a.i).alias(item_i), F.col(b.i).alias(item_j), (F.col(a.r) * F.col(b.r)).alias(score) ).filter(F.col(item_i) ! F.col(item_j)) item_sim item_cf.groupBy(item_i, item_j) \ .agg(F.sum(score).alias(sim)) \ .filter(F.col(sim) 0) window Window.partitionBy(item_i).orderBy(F.desc(sim)) item_sim_top item_sim.withColumn( rank, F.row_number().over(window) ).filter(F.col(rank) 50).drop(rank) item_sim_top.cache() item_sim_top.count()这个自连接会把数据放大很多倍因为每个用户每对商品都会生成一条记录。千万级交互可能放大到上亿甚至十亿。所以最后必须 cache 并 count 一次让 Spark 真正把结果物化到内存避免后续多次读取重复计算。ItemCF 的推荐生成逻辑是把你行为过的商品对应的相似商品找出来按相似度加权汇总排序取 TopN。这套逻辑在论文里描述为“基于物品的协同过滤推荐算法”公式用余弦相似度或杰卡德相似度都可以。4.3 ALS 模型训练参数怎么设看这张表ALS 模型训练前要把 user_item 里的 user_id、item_id 都转成 int并把字段命名为 userId、itemId、rating这是 Spark MLlib 的硬性要求from pyspark.ml.recommendation import ALS from pyspark.sql import functions as F train_data user_item.select( F.col(user_id).cast(int).alias(userId), F.col(item_id).cast(int).alias(itemId), F.col(rating).cast(float).alias(rating) ) als ALS( userColuserId, itemColitemId, ratingColrating, rank20, maxIter10, regParam0.1, implicitPrefsTrue, coldStartStrategydrop, alpha1.0 ) model als.fit(train_data)这里每个参数都值得展开说。rank 是隐特征数20 是中小数据集的稳妥起点特征太多容易过拟合太少则欠拟合。maxIter 是最大迭代次数10 到 20 就够超过 20 收益很小但训练时间翻倍。regParam 是正则化参数数据越稀疏应该越大0.1 是爆发里最常用的起点。implicitPrefsTrue 这个参数最容易被漏掉它告诉 ALS 当前输入不是真实的评分值而是隐式反馈的置信度权重模型会改用置信度加权而不是平方误差。alpha 是隐式反馈的置信度系数默认 1.0通常在 1.0 到 1.5 之间。coldStartStrategydrop 解决的是预测时遇到新用户或新商品产生 NaN 的问题设成 drop 会直接忽略这些评分。4.4 推荐结果生成召回、过滤、取 TopN模型训练好之后用recommendForAllUsers给每个用户生成候选推荐再做历史行为过滤最后取 TopNrecommendations model.recommendForAllUsers(numItems100) recs recommendations.select( F.col(userId), F.explode(recommendations).alias(rec) ).select( F.col(userId), F.col(rec.itemId).alias(itemId), F.col(rec.rating).alias(score) ) seen_items train_data.select(userId, itemId).distinct() candidates recs.join( seen_items, on[userId, itemId], howleft_anti ) window Window.partitionBy(userId).orderBy(F.desc(score)) top20 candidates.withColumn( rn, F.row_number().over(window) ).filter(F.col(rn) 20).drop(rn) final_top top20.groupBy(userId).agg( F.collect_list(itemId).alias(rec_items) )这里 left_anti join 是过滤关键效果等于“在推荐结果中排除用户已经行为过的商品”比 NOT IN 或 NOT EXISTS 在大数据上更快。为什么过滤很重要如果不过滤ALS 会把你刚买过的、评分最高的商品再次推荐上来演示时你能看到用户历史里满是刚才买过的东西非常尴尬。取 Top20 时不能直接 groupBy 后 collect_list因为 Spark 的分组聚合不保证顺序。先用窗口函数按 score 降序排序只保留前 20 行再聚合这样顺序是稳定的。4.5 把推荐结果落到前端Flask 接口只需要几十行离线训练产出的 final_top 要能被前端调用。常见做法是把推荐结果导出成 JSONFlask 启动时一次性加载到内存import json final_top_list final_top.collect() rec_map { str(row[userId]): row[rec_items] for row in final_top_list } with open(recommendations.json, w, encodingutf-8) as f: json.dump(rec_map, f, ensure_asciiFalse)然后写一个最小 Flask 接口import json from flask import Flask, jsonify, request app Flask(__name__) with open(recommendations.json, r, encodingutf-8) as f: REC_MAP json.load(f) app.route(/api/recommend, methods[GET]) def recommend(): user_id request.args.get(user_id, ) items REC_MAP.get(str(user_id), []) return jsonify({user_id: user_id, items: items}) if __name__ __main__: app.run(host0.0.0.0, port5000)如果用户不在 REC_MAP 里就返回默认热门商品列表不要返回空数组。演示时评委可能随便输入一个不存在的用户空数据会瞬间让展示翻车。5. 避坑与常见问题这 5 个坑能让你少熬两星期5.1 ALS 训练到一半 driver OOM控制台直接红屏现象用 spark-submit 跑训练进度条走到 60% 直接崩报 java.lang.OutOfMemoryError或者 worker 在反复重试。原因很多时候不是 executor 执行内存不够而是 driver 端 collect 了太多数据。比如recommendForAllUsers之后直接collect()或者 ItemCF 自连接产生了上亿条 shuffle 记录driver 要做 shuffle 元数据管理内存被撑爆。解决先加 driver 内存spark-submit --driver-memory 4g这是最快的后悔药。但更根本的优化是脚本层面不要全表 collect用take(100)验证程序里去掉一切toPandas()ItemCF 自连接结果用cache()并强制count()落盘对数据先做用户和商品的截断把范围控制在 1 万用户、5000 商品的量级训练和评估完全够用。5.2 推荐列表被热门商品刷屏看不出任何个性化现象每个用户的 TopN 推荐高度雷同全是平台爆款看起来就像只做了个热门榜。原因隐式反馈长尾分布下热门商品行为量巨大矩阵分解学到的商品向量大规模接近容易进入所有用户的推荐头部。ItemCF 的相似度计算也天然偏向热门。解决在最终评分上增加反热门惩罚。先统计商品行为量然后让推荐评分除以热门度而不是线性减去item_pop user_item.groupBy(item_id).agg( F.count(user_id).alias(pop) ).withColumn( popularity, F.log(F.col(pop) 1) ) candidates_final candidates.join(item_pop, onitem_id) \ .withColumn(score_adj, F.col(score) / F.col(popularity))用 log 而不是原始点击量是为了让惩罚不要过于猛烈。论文里可以把这条写成“面向长尾分布的评分平滑策略”是明确的加分项老师在论文里看到这个细节会认为你真的处理过问题。5.3 ItemCF 相似度矩阵稀疏到全空推荐不出来现象item_sim_top 过滤后只有几十行推荐列表几乎为空页面只能显示热门商品。原因7 天行为窗口里两个商品被同一用户同时行为的共现太少或者你把sim 5的过滤阈值设得太高导致相似商品幸存者极少。解决第一把数据范围缩小到最活跃的 1 万用户和 1 万商品上先保证共现基数再谈算法效果。第二把相似度阈值从 sim 5 降成 sim 0只要出现过共现就算相似。第三把时间窗口从 7 天放宽到 30 天共现数量会指数级上升。第四用类目信息做兜底同一个类目下的商品强制进入相似候选这在电商场景里业务合理。5.4 离线指标很好看演示时页面却推不出来现象论文里写 Recall10 达到 0.3打开页面输入 user_id返回结果是空列表现场很尴尬。原因ALS 只对训练集里出现过的用户建模但演示页面允许输入任意数字用户或者推荐的 JSON 只导出部分用户另一个用户 id 完全没被覆盖到。解决演示页面的用户下拉框不手写而是由 recommend.json 的 key 反向生成只提供有推荐结果的用户 id。接口层面对不存在于 REC_MAP 的用户返回默认热门推荐不要返回空数组。另外Flask 启动时先检查一下 JSON 里有多少 key至少要有几千个否则数据没导全。5.5 导师说“工作量不足”本质是只做了训练没做系统现象论文被批只剩模型训练和指标计算没有系统感不像一个“毕业设计”。原因大多数网上模板只写了协同过滤加评分预测缺少数据清洗的可视化、前端展示、冷启动策略这些工程可见产出。导师看的是你解决了一个完整问题而不是调了一个包。解决补三件事。一是数据预处理对比表清洗前多少行、清洗后多少行、剔除多少异常用户做成表格放进论文。二是前端可视化页面用 Flask ECharts 展示用户行为路径和推荐 TopN 列表不用复杂但必须有。三是在论文里增加冷启动小节说明新用户没有行为时按默认热门或按注册时选择的兴趣类目推荐。三件事难度都不高但系统完整度会明显提升答辩也有图可讲。6. 论文怎么组织、演示怎么跑让评委第一眼觉得你懂6.1 评测指标选四个别只写一个准确率指标论文里怎么写RecallN测试集中被推荐命中的购买商品占比PrecisionN推荐列表中被测试集验证的比例Coverage推荐商品占全部商品的比例证明个性化Novelty推荐结果中非热门商品的比例这四个指标足够覆盖“推荐效果”和“个性化程度”两个维度。实验部分做一张 ALS 和 ItemCF 的指标对比表就能直接支撑结论。6.2 论文目录跟着系统流走别按算法书抄我建议的章节顺序是第一章绪论第二章相关技术只写 Hadoop、Hive、ALS不写无关的 Docker 和 Kubernetes第三章需求分析画用例图和数据流图第四章系统设计对应四层架构和表结构第五章算法模块写数据清洗、ItemCF、ALS 和冷启动第六章系统实现放核心代码和页面截图第七章实验放指标对比表。需求分析是很多人跳过的部分而导师恰好最看这里。6.3 答辩演示脚本先数据、再算法、后前端演示时按三层来第一层展示清洗前后数据统计让评委看到工程细节第二层跑一次 ALS 训练日志或者打开训练集的用户和商品数量证明模型真实训练过第三层在页面输入用户展示 TopN 推荐再点击一个推荐商品看前端交互。不要一上来就炫前端评委真正关心的是数据链路是不是贯通。演示前把 Spark 日志级别设成 WARN避免 INFO 刷屏造成等待焦虑。我当年做这个项目最大的教训是算法只占三成功夫数据清洗和系统串联占七成。把数据质量图表、模型对比表格、前端交互三条线整理清楚评委很难找到角度问倒你。希望帮到你。本文还有配套的精品资源点击获取
