← 返回首页 📚 实战课程
📑 本篇章节导航 (共6章,点击直达)
本节目标(学完能回答的面试题)核心知识实战代码:第一个AI应用(手写,不用AI生成)面试模拟动手练习下一课预告

P3-01 - AI应用开发全景图

本节目标(学完能回答的面试题)

1. AI应用开发和AI模型训练有什么区别?你们团队做的是哪块?

2. Java生态做AI应用开发有哪些框架选型?你怎么选的?

3. 一个企业级AI应用的完整架构是什么样的?有哪些核心模块?

4. 大模型API调用的核心概念是什么?Token、上下文窗口、Temperature怎么影响工程决策?

5. 深圳市场18-22K的AI+Java开发岗位,面试官最关注什么能力?

核心知识

一、AI应用开发 vs AI模型训练 — 你要做的是哪块?

面试官第一句话经常是"你做的是模型训练还是应用开发"。回答必须清晰:


AI模型训练(ML Engineer / Algorithm Engineer)
  ├── 数据准备、清洗、标注
  ├── 模型架构设计(Transformer/LLaMA/GPT)
  ├── 训练、微调(Fine-tuning/LoRA/RLHF)
  ├── 评测(Benchmarks/Perplexity/人类评估)
  ├── 部署优化(量化/蒸馏/推理加速)
  └── 要求:Python + PyTorch + CUDA + 数学功底

AI应用开发(AI Application Engineer)← 你的方向
  ├── 大模型API接入(HTTP调用/SDK封装)
  ├── Prompt工程(模板管理/版本控制/效果评测)
  ├── RAG知识库(文档处理→向量化→检索→生成)
  ├── Agent智能体(工具调用/任务编排/记忆管理)
  ├── AI生产化(限流/降级/监控/成本控制/安全)
  └── 要求:Java + Spring + 工程能力 + 对大模型的理解

面试话术:

"我做的是AI应用集成,不是模型训练。我们团队用Java把大模型能力接入业务系统,我负责的是RAG知识库搭建、Agent工具调用编排、以及多模型统一接入层的设计和实现。"

二、大模型API核心概念(工程视角)

Token


Token是大模型处理文本的最小单位
- 英文:1个单词 ≈ 1-2个Token
- 中文:1个汉字 ≈ 1-3个Token
- 代码:缩进/符号也算Token

工程影响:
1. 计费按Token数量 → Prompt设计直接影响成本
2. 上下文窗口限制Token总数 → 输入+输出不能超过窗口
3. 流式输出按Token返回 → SSE实现的基础

常见模型上下文窗口(2026年):
| 模型 | 上下文窗口 | 大约能装多少中文字 |
|------|-----------|------------------|
| GLM-4 | 128K | ~6万字 |
| DeepSeek-V3 | 128K | ~6万字 |
| GPT-4o | 128K | ~6万字 |
| Claude 3.5 | 200K | ~10万字 |

Temperature、Top-P、Top-K


// 这些参数控制模型输出的随机性

// Temperature: 0.0-2.0
// 0.0 → 确定性强,每次输出几乎一样(适合代码生成、数据提取)
// 0.7 → 适中(适合对话、写作)
// 1.5+ → 很随机(适合创意写作、头脑风暴)

// 工程决策:
// 生产环境客服系统 → Temperature=0.3(回答稳定)
// 创意营销文案 → Temperature=0.8(有变化)
// 数据提取/分类 → Temperature=0.0(确定性输出)

// Top-P(核采样):0.0-1.0
// 只从概率累计到P的最可能Token中采样
// Top-P=0.1 → 只从最可能的10%Token中选
// Top-P=0.9 → 从90%的Token中选(更多样)

// Top-K:只从概率最高的K个Token中采样
// 生产环境一般设 Temperature + Top-P,不单独用Top-K

JSON Mode / Structured Output / Function Calling


三种让大模型输出结构化数据的方式:

1. JSON Mode
   - 告诉模型"请输出JSON格式"
   - 模型会尽量输出JSON,但不保证schema正确
   - 可能输出 {"name": "张三", "age": "二十"} ← age是字符串不是数字
   - 风险:需要自己做schema校验

2. Structured Output
   - 给定一个JSON Schema,模型严格按schema输出
   - Spring AI的BeanOutputConverter / MapOutputConverter
   - 保证类型正确,生产级推荐

3. Function Calling
   - 不是输出JSON,是让模型决定"调用哪个函数"
   - 模型返回函数名+参数 → 你的代码执行 → 结果返回给模型
   - 这是Agent的基础能力

三、Java AI框架选型 — 2026年实战对比


两个主流框架(2025年5月均发布1.0 GA):

┌─────────────────┬──────────────────────┬──────────────────────┐
│ 维度             │ Spring AI 1.0        │ LangChain4j 1.0      │
├─────────────────┼──────────────────────┼──────────────────────┤
│ 核心定位         │ Spring生态AI开发框架  │ Java LLM应用框架     │
│ 设计风格         │ Spring风格(Bean/注入) │ Builder风格(链式调用) │
│ 模型支持         │ OpenAI兼容接口为主    │ 30+模型提供商        │
│ RAG              │ 内置但较基础          │ 更丰富(多种检索策略)  │
│ Agent            │ Function Calling     │ ReAct/Plan-Execute   │
│ MCP              │ 支持                 │ 支持                 │
│ Spring Boot整合  │ 原生(官方)           │ 需要额外依赖          │
│ 社区             │ Spring社区           │ 独立社区(增长快)      │
│ 学习曲线         │ Spring开发者友好      │ 稍陡                  │
│ 生产就绪度       │ GA,生产可用          │ GA,生产可用          │
└─────────────────┴──────────────────────┴──────────────────────┘

选型建议(面试怎么答):
- 如果团队技术栈以Spring为主 → Spring AI(学习成本低、生态整合好)
- 如果需要更灵活的Agent编排 → LangChain4j(功能更丰富)
- 理想状态:Spring AI做主框架,关键模块参考LangChain4j的设计
- 面试时强调:"我选Spring AI是因为团队全是Java/Spring开发者,学习成本最低"

你实际使用的是Spring AI 1.0,这是正确的选择,面试时可以从这个角度讲。

四、企业级AI应用完整架构


┌─────────────────────────────────────────────────────────────┐
│                    客户端(Web/App/Bot)                      │
└─────────────────────────┬───────────────────────────────────┘
                          │ HTTP/SSE
                          ▼
┌─────────────────────────────────────────────────────────────┐
│                    API网关(Gateway/Nginx)                    │
│            认证鉴权 / 限流 / 路由 / 日志                       │
└─────────────────────────┬───────────────────────────────────┘
                          │
                          ▼
┌─────────────────────────────────────────────────────────────┐
│                  AI应用服务层(Spring Boot)                    │
│                                                               │
│  ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐       │
│  │ 对话管理  │ │ RAG管道   │ │ Agent编排 │ │ 工具管理  │       │
│  │ChatMemory│ │检索增强生成│ │ReAct/Plan│ │Tool注册  │       │
│  └──────────┘ └──────────┘ └──────────┘ └──────────┘       │
│                                                               │
│  ┌──────────┐ ┌──────────┐ ┌──────────┐                     │
│  │Prompt管理│ │模型路由器  │ │监控/评测  │                     │
│  │版本/模板 │ │多模型切换  │ │Token/延迟│                     │
│  └──────────┘ └──────────┘ └──────────┘                     │
└─────────────────────────┬───────────────────────────────────┘
                          │
              ┌───────────┼───────────┐
              ▼           ▼           ▼
         ┌────────┐  ┌────────┐  ┌────────┐
         │大模型API│  │向量数据库│  │业务数据库│
         │GLM/GPT │  │Milvus/ │  │MySQL/  │
         │DeepSeek│  │PGVector│  │Redis   │
         └────────┘  └────────┘  └────────┘

每个模块的职责和面试考察点:

模块职责面试高频问题
对话管理会话隔离、上下文截断、历史持久化"多轮对话上下文超了怎么办?"
RAG管道文档→切片→向量化→检索→重排→注入"召回率低怎么排查?"
Agent编排任务规划→工具选择→执行→反馈循环"Agent和普通ChatBot区别?"
工具管理Function注册/调用/结果回传"工具调用失败怎么降级?"
Prompt管理模板版本控制/A/B测试"怎么证明新Prompt比旧的好?"
模型路由多供应商切换/降级/成本统计"API挂了怎么办?"
监控评测Token消耗/响应延迟/效果追踪"上线后效果变差怎么定位?"

五、深圳18-22K AI+Java岗位,面试官到底关注什么

基于2026年5月市场调研,面试官关注点按优先级排序:


第一优先级:你能不能把AI接入业务
  → RAG管道(几乎每场AI面试必考)
  → Function Calling / Tool Calling
  → 大模型API调用(SSE流式、错误处理、重试)

第二优先级:你有没有工程判断力
  → "为什么选这个方案而不是那个"(不是报菜名)
  → "遇到了什么问题,怎么排查的"(决策过程)
  → "效果不好怎么优化的"(数据驱动)

第三优先级:生产化能力
  → Token成本控制
  → 限流/降级/熔断
  → Prompt版本管理
  → 监控和评测

不要花时间准备的:
  ✗ Transformer架构细节(应用岗不考)
  ✗ 模型训练/Fine-tuning(不是你的方向)
  ✗ 数学推导(应用岗不考)

实战代码:第一个AI应用(手写,不用AI生成)

目标:用Spring AI实现一个最简单的对话API


// pom.xml 核心依赖
// <dependency>
//     <groupId>org.springframework.ai</groupId>
//     <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
// </dependency>

// application.yml
// spring:
//   ai:
//     openai:
//       api-key: ${GLM_API_KEY}
//       base-url: https://open.bigmodel.cn/api/paas/v4
//       chat:
//         options:
//           model: glm-4-flash
//           temperature: 0.3

@RestController
@RequestMapping("/api/chat")
public class ChatController {

    private final ChatClient chatClient;

    // Spring AI自动注入ChatClient(需要配置ChatModel Bean)
    public ChatController(ChatModel chatModel) {
        this.chatClient = ChatClient.builder(chatModel)
                .defaultSystem("你是一个Java技术面试助手,用简洁的中文回答。")
                .build();
    }

    // 同步调用
    @PostMapping("/ask")
    public String ask(@RequestBody String question) {
        return chatClient.prompt()
                .user(question)
                .call()
                .content();
    }

    // SSE流式调用
    @GetMapping(value = "/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
    public Flux<String> stream(@RequestParam String question) {
        return chatClient.prompt()
                .user(question)
                .stream()
                .content();
    }
}

这个代码你必须在本地跑通,因为面试官会问:

面试模拟

Q1: "介绍一下你做过的AI项目"

错误回答:

"我们用了Spring AI、RAG、Function Calling、Advisor Chain..."

正确回答:

"我做了一个AI动态定价系统,解决OTA机票代理平台的定价效率问题。

>

之前定价完全靠人工看行情,运营人员一天只能调几十条。我设计了一个双管道架构:MQ触发的自动定价管道做批量处理,对话式管道给运营人员做精细调整。

>

技术上用Spring AI的Advisor Chain做管道编排,自定义了VectorStore对接智谱知识库实现RAG,用AOP+自定义注解注册了8个Tool函数。

>

遇到的主要问题是Tool调用链太长时上下文会溢出,后来通过压缩查询和截断历史解决了。"

Q2: "你们为什么选Spring AI而不是LangChain4j?"

回答:

"我们团队全部是Java/Spring技术栈,Spring AI的学习成本最低——ChatClient/ChatModel这些抽象跟Spring Data的风格一致,团队一周就能上手。

>

而且Spring AI和Spring Boot的整合是原生的,Bean注入、配置管理、Actuator监控都开箱即用。

>

LangChain4j功能更丰富,特别是Agent编排部分,但对我们这个定价系统的复杂度来说Spring AI够用了。如果后续需要更复杂的Multi-Agent编排,可以考虑引入LangChain4j的langgraph4j模块。"

Q3: "大模型API挂了怎么办?"

回答:

"我们做了三层保障:
1. 自动重试:用Spring Retry对429(限流)和503(服务不可用)做指数退避重试
2. 模型降级:主用GLM-4,如果GLM不可用自动切到DeepSeek,配置在Nacos里动态切换
3. 业务降级:如果所有模型都不可用,自动定价管道暂停(MQ消息堆积但不会丢),对话式管道返回'暂时无法处理,请稍后重试'"

>

"关键是降级策略要提前设计好,不能等问题出现才临时处理。"

动手练习

练习1:搭建一个最小AI对话服务

1. 创建Spring Boot 3.5项目

2. 引入spring-ai-openai-spring-boot-starter

3. 配置GLM API(或DeepSeek API)

4. 实现同步和SSE流式两个接口

5. 用curl测试


# 测试同步
curl -X POST http://localhost:8080/api/chat/ask \
  -H "Content-Type: text/plain" \
  -d "HashMap的底层原理是什么?"

# 测试流式
curl http://localhost:8080/api/chat/stream?question=HashMap的底层原理

练习2:观察Token消耗

1. 在Advisor中记录每次请求的Token数

2. 统计不同Prompt长度对Token消耗的影响

3. 计算单次调用的成本(GLM-4-Flash: 0.1元/百万Token)

下一课预告

P3-02将深入Spring AI 1.0源码,从ChatClient到ChatModel的完整调用链路,理解每个扩展点的设计意图。