人工智能基础概念全景解析：从 AI 到 Transformer、LLM、Prompt、Token、RAG、Agent、对齐与安全——用 TaoToken 统一 Key 串起概念验证

1. 从“名词焦虑”到“可调用”为什么概念必须落到接口上刚接触大模型的技术人几乎都会经历同一个阶段刷完一堆科普文脑子里塞满了 AI、Transformer、LLM、Prompt、Token、RAG、Agent、对齐这些词但真到要写第一行调用代码时还是不知道从哪下手。概念和接口之间隔着一道墙——你知道 Transformer 是“发动机”却不知道它和你在 API 里传的model参数是什么关系你知道 Token 是计费单位却没亲手看过一次响应里的usage字段长什么样。这篇东西就是来拆这堵墙的。我按 AI → Transformer → LLM → Prompt → Token → RAG → Agent → 对齐与安全 的顺序走一遍每一站不停留在定义而是配一段能直接跑的最小请求。所有请求都走同一个 Key、同一条 API 通道这样你不用在七八个平台之间反复注册、反复配环境心智负担能压到最低。目标很具体一小时内你手里有一套可复制的配置骨架、一串能跑的 curl 命令以及看懂返回字段的能力。适合谁看适合已经会一点命令行、想快速把“概念”变成“能调的东西”的开发者。你不需要先学完深度学习只要能把请求发出去、把 JSON 读明白就能跟着走完。整条链路我用 TaoToken 统一 Key 串起来官网是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 入口是 https://taotoken.net/api 。下面从准备通道开始。2. 前置准备用 TaoToken 统一 Key 打通整条链路2.1 为什么用统一 Key 而不是到处注册概念验证阶段最怕的不是技术难而是“摩擦”太多。每换一个概念就换一个平台、换一套鉴权、换一种返回格式注意力全耗在环境上根本记不住概念本身。统一 Key 的价值就在这一个Authorization头一条 API 通道所有模型对话、编码、检索类请求都从同一个入口出去。你只需要维护一份配置settings.json 和 config.toml 各写一次后面所有 curl 都复用。2.2 拿到 Key 与确认通道先到控制台创建 API Key入口在 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite 。创建后复制那串以sk-开头的字符串先存到环境变量里别硬编码进脚本export TAOTOKEN_API_KEYsk-你的key export TAOTOKEN_BASE_URLhttps://taotoken.net/apiKey 的管理页面在 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。这两个地址建议先收藏后面排错会反复用到。2.3 两套配置骨架settings.json 与 config.toml很多工具读 JSON很多 CLI 读 TOML所以两份骨架都给你。先看settings.json适合 Cursor、Cline 这类编辑器插件{ aiProvider: { name: taotoken, baseUrl: https://taotoken.net/api, apiKey: ${TAOTOKEN_API_KEY}, defaultModel: claude-sonnet-4.6, timeoutMs: 60000, maxRetries: 2 }, models: { chat: claude-sonnet-4.6, coding: claude-opus-4.6, fast: gpt-5.1 } }再看config.toml适合 Claude Code、Aider 这类 CLI[provider] name taotoken base_url https://taotoken.net/api api_key_env TAOTOKEN_API_KEY timeout 60 [models] default claude-sonnet-4.6 coding claude-opus-4.6 fast gpt-5.1 [request] max_retries 2 stream true两份配置里base_url都指向https://taotoken.net/api注意这里不带任何查询参数保持干净。Key 一律走环境变量引用别写死在文件里避免误提交。注意defaultModel只是占位实际调用时以请求体里的model字段为准。配置里的模型名要和平台当前支持的名称一致写错会直接返回 404 或 model not found。3. 逐概念可复制配置与最小请求3.1 AI 与 Transformer先确认通道能通AI 是总目标Transformer 是当前大模型的基础架构。这两个概念本身不需要单独“调用”但你需要先确认通道是活的。最省事的办法是拉一次模型列表curl -s https://taotoken.net/api/models \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ | head -c 800返回里会有一个data数组每个元素带id、object、owned_by等字段。id就是你能在请求体model里填的名字。这一步跑通说明 Key 和通道都没问题后面所有概念验证都建立在这条通道上。Transformer 在这里的体现是你选的每个模型底层都是自注意力架构的产物。你不需要手动算 Q、K、V但要知道model这个名字背后对应的就是一套 Transformer 权重。概念到接口的映射第一步就是“模型名 一套 Transformer 参数”。3.2 LLM发一次最小对话请求LLM 是当前 AI 应用的核心引擎。最小请求走 chat completions 风格curl -s https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: claude-sonnet-4.6, messages: [ {role: user, content: 用一句话解释什么是大语言模型} ], temperature: 0.3, max_tokens: 200 }返回结构里重点看三块choices[0].message.content是模型输出choices[0].finish_reason告诉你为什么停stop是正常结束length是撞到 max_tokensusage里有prompt_tokens、completion_tokens、total_tokens。这三个字段就是 Token 概念的落地——你花的钱、占的窗口全在这里。3.3 Prompt系统提示词与用户提示词分层Prompt 是人机交互的接口。系统提示词定角色和规则用户提示词下具体任务。请求体里用role区分curl -s https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: claude-sonnet-4.6, messages: [ {role: system, content: 你是一名严谨的技术编辑回答先给结论再展开不确定就说不确定。}, {role: user, content: 解释一下 RAG 解决了什么问题} ], temperature: 0.2 }对比 3.2 的请求你会发现多了一条system消息。系统提示词会持续影响整段对话用户提示词只驱动单次任务。这就是 Prompt 分层的实际形态——不是抽象概念而是messages数组里的不同role。3.4 Token从 usage 字段读懂计费与窗口Token 是计费单位和窗口边界。上面两次请求的返回里都有usage把它单独拎出来看usage: { prompt_tokens: 42, completion_tokens: 118, total_tokens: 160 }prompt_tokens是你发过去的内容含系统提示词和历史completion_tokens是模型生成的total_tokens是两者之和。计费按输入和输出分别算所以长对话越到后面越贵——因为每轮都把历史重新发一遍。窗口限制也在这里体现prompt_tokens completion_tokens不能超过模型的上下文窗口超了会报错或截断。想直观感受分词可以发一段中英混合文本观察prompt_tokens的跳变。中文通常比英文更“费”Token同样字数下prompt_tokens更高。3.5 RAG用检索片段拼一个带上下文的请求RAG 的核心是“先检索、再生成”。最小验证不需要真接向量库手动把检索片段塞进 Prompt 就能看到效果curl -s https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: claude-sonnet-4.6, messages: [ {role: system, content: 只基于【参考信息】回答信息里没有就说无法回答不要编造。}, {role: user, content: 【参考信息】公司年假规则入职满一年享 5 天满三年享 10 天。\n\n问题入职满三年有多少天年假} ], temperature: 0.0 }返回的content应该只引用“10 天”不会额外发挥。这就是 RAG 的骨架检索片段作为上下文系统提示词约束“不许编”。真实场景里片段由 Embedding 向量数据库检索得到但生成这一步的接口形态和上面完全一样。3.6 Agent用工具调用字段看“自主执行”的雏形Agent 是“感知—规划—执行—反思”的自主系统。最小验证看工具调用tool calls字段curl -s https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: claude-sonnet-4.6, messages: [ {role: user, content: 北京现在天气怎么样} ], tools: [ { type: function, function: { name: get_weather, description: 查询指定城市天气, parameters: { type: object, properties: {city: {type: string}}, required: [city] } } } ], tool_choice: auto }如果模型决定调用工具返回的choices[0].message里会出现tool_calls数组包含函数名和参数。你拿到后去执行真实查询再把结果作为role: tool的消息发回去模型继续生成最终回答。这个“模型决定调什么—你执行—结果回灌”的循环就是 Agent 的最小闭环。3.7 对齐与安全用系统提示词做行为约束对齐的目标是让模型行为符合预期。最小验证是给系统提示词加约束看模型是否遵守curl -s https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: claude-sonnet-4.6, messages: [ {role: system, content: 你只能回答与编程相关的问题。遇到其他话题回复这个问题超出我的范围。}, {role: user, content: 帮我写一首情诗} ], temperature: 0.0 }预期返回是那句拒绝话术而不是一首诗。这就是对齐在接口层的体现——不是玄学而是系统提示词 模型训练共同作用的结果。生产环境里还会叠加内容审核、输出过滤等机制但起点就是这条system消息。4. 验证请求与成功结果解读4.1 一次完整验证的返回长什么样把 3.2 的请求跑一遍完整返回大致如下已精简{ id: chatcmpl-xxxx, object: chat.completion, created: 1730000000, model: claude-sonnet-4.6, choices: [ { index: 0, message: { role: assistant, content: 大语言模型是基于海量文本训练的神经网络能理解和生成自然语言。 }, finish_reason: stop } ], usage: { prompt_tokens: 18, completion_tokens: 32, total_tokens: 50 } }逐字段读id是本次请求唯一标识排错时给平台看这个model回显实际使用的模型确认没被路由到别的choices[0].message.content是你要的输出finish_reason判断是否正常结束usage算成本。4.2 成功与失败的判断标准成功HTTP 200choices非空content有内容finish_reason是stop或tool_calls。失败HTTP 4xx/5xx返回体里有error对象含message和type。把error.message读出来八成问题能直接定位。4.3 用脚本批量验证所有概念手动敲 curl 容易漏写个小脚本一次跑完#!/usr/bin/env bash set -e BASEhttps://taotoken.net/api/v1/chat/completions KEY$TAOTOKEN_API_KEY call() { local name$1; local body$2 echo $name curl -s $BASE \ -H Authorization: Bearer $KEY \ -H Content-Type: application/json \ -d $body \ | python3 -c import sys,json; djson.load(sys.stdin); print(d[choices][0][message][content][:120]); print(tokens:, d[usage][total_tokens]) } call LLM {model:claude-sonnet-4.6,messages:[{role:user,content:一句话解释LLM}],max_tokens:100} call Prompt {model:claude-sonnet-4.6,messages:[{role:system,content:先结论后展开},{role:user,content:什么是Token}],max_tokens:150} call RAG {model:claude-sonnet-4.6,messages:[{role:system,content:只基于参考信息回答},{role:user,content:【参考信息】年假满三年10天。问题满三年几天}],temperature:0}跑完你会看到每段输出和对应 Token 消耗概念到接口的映射就具体了。5. 本篇常见错排查5.1 401 Unauthorized最常见。原因Key 没设、设错、或环境变量没导出。检查echo $TAOTOKEN_API_KEY是否有值请求头是否是Authorization: Bearer sk-...。注意 Bearer 和 Key 之间有一个空格少了会 401。5.2 404 model not foundmodel字段写错或该模型当前不可用。先用 3.1 的模型列表接口确认可用id再填进请求体。别凭记忆写模型名版本号差一位就 404。5.3 400 请求体格式错误JSON 拼错、少了逗号、引号没转义。curl 里单引号包裹 JSON 时内部不能有未转义的单引号。建议把 JSON 写到文件里用-d body.json发送避免 shell 转义问题。5.4 finish_reason 是 length输出被max_tokens截断。要么调大max_tokens要么在 Prompt 里要求“简洁回答”。注意max_tokens是输出上限不含输入。5.5 上下文超限报错prompt_tokens加completion_tokens超过模型窗口。长对话要主动裁剪历史或换窗口更大的模型。RAG 场景下控制检索片段数量比换模型更划算。5.6 工具调用不触发tools定义里description太模糊或tool_choice设成了none。把函数描述写清楚“什么时候用”tool_choice用auto。模型判断不需要工具时就不会调这是正常行为。5.7 返回乱码或截断多半是没加Content-Type: application/json或终端编码问题。加上请求头输出用python3 -m json.tool格式化再看。6. 把概念变成手感下一步怎么走概念验证跑通后真正的收获不是记住了八个名词而是建立了“概念—字段—请求”的对应关系。你看到usage就想到 Token看到tool_calls就想到 Agent看到system就想到对齐约束。这种手感只能靠亲手发请求养出来。接下来按方向分流如果想把排错和接入做扎实去 API Keys 页面 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 管理 Key配合接入文档 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 把配置固化下来如果想先对比不同模型在同一 Prompt 下的表现用模型对话 https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentchatutm_campaignrewrite 快速试如果打算长期做编码或 Agent直接上 Coding Plan https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 把统一 Key 接进日常工具链。最后给个实用建议把 4.3 的脚本存成verify.sh每次换 Key 或换模型先跑一遍。五分钟确认通道健康比事后排查半小时划算得多。概念会忘但能跑的脚本不会。