AI学习笔记我花了大半年时间整理自己学习AI的完整笔记今天把它重新梳理成一份可以直接照着用的路线图。这篇文章不是什么“七天精通大模型”的速成教程而是我作为AI应用开发者从只会调接口到能独立完成Agent开发、模型部署、产品落地的真实记录。如果你正在学AI、准备转行AI岗位或者已经入行但总觉得知识太散、不知道下一步该学什么这份笔记应该能帮你省下大量瞎试的时间。先说结论学AI最大的问题不是资料不够而是你不知道自己处在哪个阶段、该补什么。我见过太多人一上来就啃Transformer论文结果连“上下文窗口”和“训练数据”的关系都没搞清也有人天天刷AI新闻却从来没自己跑通一个完整的AI应用。所以这份笔记的核心思路是以终为始用项目倒逼学习。每一个知识点都对应一个实际能落地的场景学了就能用用了才能真学会。1. 先想清楚AI学习到底在学什么1.1 为什么需要一份体系化的学习笔记我刚开始学AI的时候收藏了三百多个网页、十几个教程链接但真正学完的不到5%。后来我发现问题出在“碎片化”上——今天看到一个提示词技巧觉得很厉害明天刷到一个AI绘画教程又觉得很有趣学了一周却发现串不起来。我自己的学习节奏是坚持用“一个知识点一个实操项目一篇复盘笔记”的方式推进。比如学RAG的时候我不是只看文档而是用FastAPI写了一个本地知识库问答接口调用大模型的Embedding接口做向量化再用向量数据库做检索。整个过程做完我对RAG的理解才真正落地了。这套笔记体系的第一个价值是帮你建立一个清晰的AI知识地图。第二个价值是让你能随时知道自己学过的内容属于哪个模块哪些还缺着。我建议你也建一个自己的笔记模板包含三个字段“这个技术解决什么问题”“核心原理是什么”“我要怎么验证它”。坚持三个月你会明显感觉到知识不再是零散的。1.2 一张学习地图把大模型到AI应用串起来结合我自己的实践和当前AI岗位的需求我把AI学习拆成了六个模块模型认知、提示词与RAG、AI编程、AI智能体、模型部署、岗位技能。这不等于说每块都要精通而是你要清楚自己当前主攻哪块其他模块作为辅助。学习模块核心内容推荐掌握度对应场景模型认知大模型原理、训练流程、微调了解为主理解模型能力边界提示词与RAGPrompt工程、上下文管理、知识检索增强重点掌握AI聊天、知识库、客服AI编程Copilot、代码生成、自动化脚本重点掌握提效、辅助开发AI智能体Agent框架、工具调用、多Agent协作进阶方向自动化工作流、AI应用模型部署推理服务、量化优化、AI Infra按需掌握私有化部署、生产环境岗位技能产品、测试、架构等视角按目标岗位转行、职业发展每个模块内部也要有优先级。比如“模型认知”里我建议你先搞懂Transformer的基本结构、预训练和微调的区别、上下文窗口的概念暂时不用深究注意力机制的数学推导。等你在实际应用中遇到问题比如“为什么模型生成结果不稳定”再回头补原理效果会好得多。2. 从模型原理到AI编程核心知识笔记2.1 理解大模型的“求学”过程从预训练到微调很多人用ChatGPT、用各种国产大模型但并不知道模型是怎么变聪明的。大模型的学习过程可以类比成一个大学生预训练阶段像通识教育模型读了几万亿字的书籍和网页学会了语言规律和世界常识微调阶段像专业课用高质量的人工标注数据教模型学会对话、遵循指令、做特定任务。这个认知非常重要因为它决定了你怎么使用模型。预训练模型只会续写文本如果你直接问它问题得到的可能是“东扯西拉”的续写内容只有经过指令微调后的模型才具备问答能力。所以当你部署开源模型的时候一定要搞清楚你下载的是“基座模型”还是“对话模型”二者使用方式完全不同。再往深一层还有RLHF基于人类反馈的强化学习这一步目的是让模型的回答更符合人类偏好。这也是为什么有些模型虽然参数一样但“性格”和使用体验差别巨大。日常开发中这些阶段直接影响到你选模型的口径如果要做垂直领域问答优先选已经针对性微调过的行业模型而不是通用模型如果要做内容创作那模型的对齐偏好就要特别关注。2.2 上下文窗口、RAG与提示词怎么选这是我在实际项目中踩坑最多的一块。很多初学者会把所有希望寄托在提示词上认为只要Prompt写得好模型就能回答一切。但现实是对于需要外部知识的问题光靠提示词是不够的。上下文窗口是模型一次能处理的最大Token数量相当于模型的“工作记忆”。如果你把一本五百页的书直接塞给模型即使窗口再大它也会抓不住重点还会导致处理速度变慢、成本飙升。更合理的做法是用RAG检索增强生成先把文档切成小块做向量化用户提问时先从向量数据库里检索出最相关的片段再连同问题一起交给模型。我最早做知识库问答的时候走了不少弯路。一开始以为“把全部文档拼接给模型”就行结果一次调用要几十万Token费用高、响应慢而且回答质量并没有变好。后来用RAG方案只把检索到的5到10个片段喂给模型效果立刻提升。这里再分享一个判断原则知识型任务优先RAG推理型任务优先提示词本模型不会的优先微调。既不要滥用提示词也不要一上来就微调RAG是性价比最高的那块拼图。2.3 AI编程实践让模型帮我写代码的三个阶段AI编程是我学AI之后效率提升最明显的方向但也是让我心态波动最大的方向。最开始我只会把一个问题原样丢给编程助手让它生成一整段代码结果经常是代码能跑、但逻辑不对后来我学会了拆任务、写清楚输入输出、主动告诉它约束条件准确率提升了一个档次。这个过程我总结为三个阶段。阶段一把AI当搜索引擎用。找某个函数怎么写、某个框架API怎么用比翻官方文档快。这时候不用给太复杂的上下文问题越具体越好。阶段二把AI当结对编程搭子。让AI生成一个小模块、写单元测试、做代码审查。关键技巧是给出“上下文片段明确需求验收标准”。比如让AI写一个Python函数你告诉它“输入是CSV路径输出是过滤后的JSON列表要求处理编码异常返回错误信息”它产出的代码基本能直接用。阶段三让AI参与架构设计。到了这个阶段可以试着让AI帮你拆解需求、设计数据库表结构、规划微服务边界。需要注意AI设计出来的架构不一定合理但你把它当作一个免费的讨论对象往往能激发你自己没想到的思路。我现在写代码的标配是用AI生成初版代码用代码审查工具查问题自己负责核心逻辑和最终把关。AI不能取代程序员但能取代“低效信息检索”和“重复模板代码”这两件事。2.4 AI绘画与AI视频生成式模型的创作逻辑除了文本模型AI绘画和AI视频也是“AI学习笔记”里非常受欢迎的一部分。很多新手以为AI绘画就是输入一句话、点生成其实背后的逻辑涉及文本编码器、扩散模型、采样器、ControlNet等多个组件。我学习AI绘画的路径是先理解“提示词是怎么控制图像内容的”——这背后是CLIP文本编码器把文字映射到向量空间再引导扩散模型去噪生成图像。理解了这层关系你就知道为什么提示词描述得越具体生成结果越可控。接着学“参数”概念步数、CFG值、采样器、分辨率各自影响什么。很多教程只告诉你数值我用表格记录了自己测试过的常用参数范围参数作用参考值备注步数去噪迭代次数20~30太高收益递减且变慢CFG值提示词服从度7~10太高容易色彩过饱和采样器去噪算法DPM 2M不同采样器风格有差异分辨率输出画幅512/768再放大直接出1024容易出结构错乱负向提示词排除不想出现的内容模糊、畸形、低质量对成图稳定性帮助很大至于AI视频和AI短剧我在学习笔记里把它归为“多模态生成”的扩展。其核心链路通常是先用大模型生成剧本或分镜脚本再用AI绘画工具生成关键帧最后用视频生成模型或图像转视频工具实现动态效果。这种工作流的优势是“一次性生成效率高”但内容质量和可控性差一些。我的建议是创作类项目一定要把“内容创意”掌握在自己手里AI只是负责执行环节的工具。3. AI Agent与AI应用开发实操笔记3.1 拆解Agent规划、记忆、工具调用AI Agent是我目前认为最值得花时间学习的方向。简单来说Agent就是一个“能自己动手干活”的AI系统——它不仅会聊天还能调用工具、访问网络、操作软件完成一个多步骤的复杂任务。相比直接调大模型APIAgent的核心差异在于它有了自我决策的能力。我在学习Agent时把它拆成了三块规划Planning、记忆Memory、工具调用Tool Use。规划是让Agent把一个大目标拆成若干小步骤比如“帮我整理一份行业调研报告”Agent会先搜索资料、再总结提炼、最后生成文档记忆分为短期记忆对话上下文和长期记忆向量数据库存储的历史信息这是Agent能做个性化服务的基础工具调用则是让Agent能够执行动作比如调用天气API、操作Excel、发送邮件。一个常见误区是很多人以为Agent就是“给模型加一个循环”实际上优秀的Agent需要细致的Prompt设计、工具定义的清晰描述、以及失败重试机制。比如你在给Agent定义工具时如果工具描述写得太模糊模型就不知道该在何时调用它。工具描述要写明“什么时候用”“输入是什么”“输出是什么”这比提示词里的任何花活都重要。3.2 用Spring AI搭建本地Agent的实操记录我实际在做AI应用开发时用了不少框架其中一个让我比较惊喜的是Spring AI。这个框架把AI能力接入Spring生态对于Java开发者非常友好核心优势是提供了统一的API抽象支持对接不同大模型同时把RAG、Agent的一些常用组件内置了。我搭过一个“本地文档问答Agent”大致流程是这样先配置大模型的API地址和模型名称然后定义一个Tool自定义工具让Agent在回答问题时能查询本地数据库。整体代码不算复杂核心是让模型知道“有这么一个工具可用什么时候需要用”。Bean public ToolCallback weatherTool() { return new ToolCallback() { Override public String getName() { return queryOrder; } Override public String getDescription() { return 根据订单号查询本地订单状态当用户询问订单进度时使用; } Override public String call(String payload) { return orderService.queryStatus(payload); } }; }第一次跑通的时候我心里那种“原来AI应用没那么神秘”的感觉特别强烈。它本质上是把模型的推理能力和外部系统的执行能力拼在一起框架只是帮我们把拼的过程标准化了。学习这类框架的建议是不要堆概念直接选一个小而完整的项目跑通全流程。我当时就是从“构建一个能调用数据库的问答机器人”起步再逐步加更多工具和多轮对话逻辑一点点加深理解。3.3 从单Agent到AI智能体产品的演进学完单Agent之后你会发现单Agent的能力有天花板。比如一个Agent既要做好对话、又要负责数据分析、还要生成图表结果往往是每个任务都完成得一般。这时候就需要多Agent协作让不同Agent负责不同角色再通过一个主Agent统一调度。我学多Agent的时候用了一个很形象的类比就像开一家小公司每个Agent都是一个专职员工一个负责接待对话Agent、一个负责查数据检索Agent、一个负责出图绘图Agent老板调度Agent负责把任务分派给对应的人。实际开发中多Agent框架会引入任务队列、状态管理等基础设施复杂度明显上升但对复杂业务的表达能力也更强。在思考“AI智能体”产品化的时候我建议你多关注几个问题智能体的使用场景是否足够高频、用户是否愿意把一部分控制权交给AI、失败后怎么降级处理。当前很多智能体产品最大的问题不是技术不成熟而是用户对“AI自作主张”的接受度不高。所以你在做产品设计时一定要把“人在回环中”的机制放进去关键操作前让用户确认这能大幅降低风险也是我在实际项目里反复验证过的经验。4. AI模型部署与工程化硬骨头学习笔记4.1 模型部署核心链路模型格式、推理服务与API从“调用别人的API”到“部署自己的模型”中间隔着一座叫“工程化”的大山。很多教程把部署讲得很玄乎但拆开来看核心链路无非三步拿到模型文件、用推理框架加载、起一个API服务。模型文件方面开源社区最常见的格式是PyTorch权重和GGUF。PyTorch权重灵活但依赖重部署起来要装一堆环境GGUF是专门为CPU/GPU推理优化的格式搭配llama.cpp使用非常方便。我建议初学者先选一个已经量化好的GGUF模型用Ollama这类工具跑起来体验一下“本地模型部署”的全流程再考虑用vLLM等框架做高并发服务。推理框架选择上我自己用过llama.cpp、Ollama、vLLM简单对比一下框架适合场景优点限制llama.cpp个人电脑、CPU推理轻量、跨平台、量化支持好高并发能力一般Ollama快速体验、本地开发安装简单、模型管理方便定制化程度偏低vLLM生产环境、高并发吞吐量大、PagedAttention优化显存要求高、配置复杂FastAPITransformers灵活定制可控性最强开发成本和性能优化难度高我当时第一次在本地部署了一个7B模型那种“没有网也能有大模型”的感觉确实很爽。但这个阶段的新手最容易犯的错是模型下载了一大堆却没搞清楚自己的使用场景。与其下载一堆模型不跑不如先定一个目标比如“在本机跑出一个能稳定回答问题的千问7B模型”再围绕这个目标选模型、装框架、写API。4.2 显存不够怎么办量化与推理优化实践判断推理优化的关键指标是显存占用和生成速度。模型参数和显存占用大概有这样的关系一个7B的FP16模型大概需要14GB显存Q4量化后只需要4GB左右。这就是为什么量化技术这么重要——它能让消费级显卡也跑得起大模型。我实验室里有一张显存只有8GB的显卡跑7B模型必须量化。用llama.cpp的量化脚本把FP16模型压到Q4_K_M格式显存占用从14GB降到5GB左右单token生成速度从每秒2个提升到每秒12个。代价是回答质量会有一点点下降但正常对话完全感受不到明显区别。除了量化还有几个优化思路KV Cache可以减少重复计算批处理Continuous Batching能提高GPU利用率投机采样可以加速生成。学到这里你会发现模型部署本质上是一个“在容量、速度、质量之间做权衡”的工程活。没有绝对最优的方案只有最适合你资源和场景的方案。我的做法是把跑过的最佳参数记录成一个配置表方便下次直接复用。4.3 AI Infra学习路径与常用工具AI Infra是这几年特别火的方向也是很多人觉得最难入门的地方。我自己的理解是AI Infra就是给大模型训练和推理提供底层支持的基础设施包括GPU资源调度、分布式训练框架、模型存储与分发、推理服务编排等。这个领域对工程能力要求高但需求也很大。学习AI Infra不需要从零造轮子可以先从掌握工具入手。我建议按以下顺序学习先学Docker和Kubernetes因为模型部署几乎都会容器化再学Ollama/vLLM等推理服务工具理解模型怎么变成一个HTTP接口接着学向量数据库如Milvus、Qdrant这是RAG系统的关键组件最后可以了解一下Ray和Kubernetes的AI扩展对处理分布式任务有帮助。有些人会问“我不做部署是不是就不用学这些了”我的答案是如果你只做算法验证那确实用不太上但只要你想把AI能力真正落地成一个产品部署和工程化的知识就是绕不开的。哪怕你自己不写部署代码也要知道部署在什么时候会出问题、会有什么瓶颈否则你设计的功能在技术上可能根本无法上线到时候改架构的成本往往非常高。5. 不同岗位视角的AI学习笔记5.1 AI产品经理技术边界决定产品边界AI产品经理的核心竞争力不是画原型而是知道AI能做什么、不能做什么、做到什么程度需要花多少成本。我身边有不少产品经理朋友都经历过类似的尴尬把需求提给AI研发团队对方直接说“这个场景大模型做不了”然后项目就被卡住了。我整理了一份AI产品经理需要掌握的技术常识清单第一理解模型能力和限制比如大模型会产生幻觉所以涉及准确性的场景必须加人工审核或知识库兜底第二知道提示词和RAG的基本区别能判断哪些需求需要后端检索支持第三了解成本和延迟不同参数规模的模型价格差距巨大一个每秒需要处理上百次请求的实时聊天功能和一天只调用几千次的离线批处理任务模型选型完全不同。做AI产品有个很重要的思维转变传统互联网产品是“需求明确、逻辑确定”AI产品则是“模型有概率性、交互有不确定性”。所以产品设计上要预留异常路径比如用户对AI回答不满意时提供“重新生成”和“转人工”的按钮。这类细节就是AI产品经理和普通产品经理拉开差距的地方。5.2 AI测试工程师大模型评测到底在测什么随着AI应用增多AI测试工程师这个岗位越来越热门。但很多人对“AI测试”的认知还停留在“用自动化脚本调接口、看返回结果”的层面。实际上AI系统测试和传统软件测试有一个巨大差异——它的输出不是唯一确定的。同一个问题大模型每次回答都可能有细微差别你怎么断言“正确”还是“错误”我的学习路径是这样的先学传统测试基础接口、性能、自动化再补AI领域知识模型评估指标、Prompt设计、数据集构建然后实践“大模型应用评测”项目。评测维度可以拆成准确性、相关性、安全性、稳定性、时效性等多个指标每个指标都要设计对应的评测用例。比如准确性方面可以准备一份带标准答案的测试集让模型回答后计算命中率安全性测试则要准备恶意输入和敏感话题验证模型是否会被诱导输出不合规内容。在实际测试中我强烈建议建立一套“回归测试集”每当你改了提示词或换了模型都把同一套测试用例跑一遍对比结果变化。这样做能帮你在迭代的过程中及时发现“改好了A问题的同时是不是破坏了B能力”。AI测试的核心不是找Bug而是给AI能力建立一套可量化的质量基线。5.3 AI应用开发者的技能组合与项目经验如果你和我一样是想走AI应用开发这条路那我给你一些来自实践的经验参考。AI应用开发并不是“只需要会调用API”而是要求你具备完整的软件开发能力再加上AI相关的专项知识。日常工作中最常用的技术栈包括Python或Java做后端服务FastAPI或Spring Boot做接口Docker做环境打包PostgreSQL或MySQL做业务数据存储再加一个向量数据库做知识检索。项目经验方面我给自己的定了一个“三个一”目标至少完整做一个RAG知识库应用、一个AI Agent自动化流程、一个模型私有化部署案例。做完这三个项目你对“AI应用开发”的理解会远超那些只跑过官方Demo的人。做项目的过程中再穿插学习提示词工程、模型评测、部署优化等细节能力会自然长起来。这里还想特别说一下“AI编程提示词”这件事。很多初学者以为AI编程提示词就是“帮我写个Python爬虫”这么简单但在真实开发中你需要学会把需求拆成模块、写出清晰的输入输出和边界条件必要时提供代码风格和依赖说明。提示词写得好不好直接影响AI生成代码的可用率。这是一个越练越有价值的能力。6. 学习过程中踩过的坑与高频问题6.1 新手最容易踩的五个坑我整理了自己还有身边朋友在学习AI时最常踩的坑按“杀伤力”排序第一个坑是“只收藏不消化”。资料收藏了几百篇真正动手实践不到三个项目。破解方法是“24小时原则”——看到一篇有价值的教程24小时内必须跑通一个相关的最小Demo否则就删掉收藏。第二个坑是“跳过基础直接冲高级”。比如还没搞懂上下文窗口就直接啃RAG源码。基础不牢的结果是问题只要稍微变形你就不会了。我的建议是前60%的时间先补基础后40%的时间放到具体项目上。第三个坑是“盲目追新”。今天看一个新模型发布了明天看到一个Agent框架爆火了就跟着换方向。AI领域变化快但底层的模型原理、RAG流程、部署链路这些知识是通用的专注扎透几个稳定的方向收益远比东一榔头西一棒槌高得多。第四个坑是“忽视质量评测”。很多人在做AI应用的时候只关心“能不能跑通”不关心“效果到底好不好”。没有评测标准你就不知道模型换了之后是变好还是变差也不知道该调什么地方。第五个坑是“一个人闷头搞不交流”。AI学习很需要反馈和讨论我会定期把笔记发到社区或跟同行交流经常能收获“我竟然没想到还能这么用”的启发。学习是一件孤独的事但没必要让自己完全隔绝。6.2 怎么高效找资料、读论文、追动态AI领域的信息更新速度极快如果不会筛选信息你很容易陷入“刷资讯焦虑”的怪圈。我现在的信息获取渠道按优先级排优先级最高的是官方文档和技术博客因为信息准确其次是开源项目代码因为它能真正教会你工程实现再次是顶会论文用来理解前沿方向至于社交平台的热点讨论我会把它当作“线索”而不是“知识”。读论文这件事新手不需要每篇都精读。我的方法是“标题筛选—摘要判断—图表定位—代码验证”。先看论文标题和摘要判断是否相关再看图表和主要结果是否震撼最后去GitHub看作者有没有开源代码。对于自己正在做的方向我再回去精读方法部分边读边跑代码验证。这样下来每周读三到五篇论文也不会觉得累。追动态也是必要的但要设置时间上限。我通常每天只花二十分钟看AI资讯关注几个硬核信源就够了。与其每天刷几十条“AI将要取代XX”的贩卖焦虑内容不如把时间用在跑通一个开源模型上。亲手实践获得的信息密度永远是二手资讯没法比的。6.3 我的AI学习复盘清单最后分享一份我每次学完一个AI模块都会填写的复盘清单它帮我避免了很多“学了就忘”的情况这个模块解决的核心问题是什么它和大模型生态里的其他模块是什么关系我动手实现了什么项目项目用了哪些关键技术点过程中遇到的最大难点是什么怎么排查的如果把这次经验浓缩成一条建议我会给后来者说什么比如我学完RAG后是这样填的核心问题是解决“模型不知道私有知识”的问题和大模型生态的关系是在提示词和微调之间提供了一个“不用训练、便宜、可随时更新”的选择实现了本地知识库问答并接入了FastAPI最大难点是文本切分的大小和重叠度对检索质量的影响很大建议是“文档切分后最好人工抽样看几条再入库”。这份清单看着简单坚持写下来会发现重复踩过的坑会越来越少经验也变得越来越值钱。我在实际工作中的很多“快人一步”其实都来自这些笔记里的细节积累。其实学AI这件事考验的不是智商而是方法、耐性和持续动手的习惯。我见过不少代码基础一般的人因为愿意扎扎实实做项目、记笔记半年后能力反超了那些天天刷教程却从不动手的人。我个人在实践中体会最深的一句话是AI学习的关键不是“看过多少资料”而是“亲手跑通了多少项目”。如果你现在还没找到方向就从一个小项目开始哪怕是做一个最简单的提示词调优实验把它写进你的学习笔记里——这是最好的起点。
