1. AI应用开发和AI模型训练有什么区别?你们团队做的是哪块?
2. Java生态做AI应用开发有哪些框架选型?你怎么选的?
3. 一个企业级AI应用的完整架构是什么样的?有哪些核心模块?
4. 大模型API调用的核心概念是什么?Token、上下文窗口、Temperature怎么影响工程决策?
5. 深圳市场18-22K的AI+Java开发岗位,面试官最关注什么能力?
面试官第一句话经常是"你做的是模型训练还是应用开发"。回答必须清晰:
AI模型训练(ML Engineer / Algorithm Engineer)
├── 数据准备、清洗、标注
├── 模型架构设计(Transformer/LLaMA/GPT)
├── 训练、微调(Fine-tuning/LoRA/RLHF)
├── 评测(Benchmarks/Perplexity/人类评估)
├── 部署优化(量化/蒸馏/推理加速)
└── 要求:Python + PyTorch + CUDA + 数学功底
AI应用开发(AI Application Engineer)← 你的方向
├── 大模型API接入(HTTP调用/SDK封装)
├── Prompt工程(模板管理/版本控制/效果评测)
├── RAG知识库(文档处理→向量化→检索→生成)
├── Agent智能体(工具调用/任务编排/记忆管理)
├── AI生产化(限流/降级/监控/成本控制/安全)
└── 要求:Java + Spring + 工程能力 + 对大模型的理解
面试话术:
"我做的是AI应用集成,不是模型训练。我们团队用Java把大模型能力接入业务系统,我负责的是RAG知识库搭建、Agent工具调用编排、以及多模型统一接入层的设计和实现。"
Token是大模型处理文本的最小单位
- 英文:1个单词 ≈ 1-2个Token
- 中文:1个汉字 ≈ 1-3个Token
- 代码:缩进/符号也算Token
工程影响:
1. 计费按Token数量 → Prompt设计直接影响成本
2. 上下文窗口限制Token总数 → 输入+输出不能超过窗口
3. 流式输出按Token返回 → SSE实现的基础
常见模型上下文窗口(2026年):
| 模型 | 上下文窗口 | 大约能装多少中文字 |
|------|-----------|------------------|
| GLM-4 | 128K | ~6万字 |
| DeepSeek-V3 | 128K | ~6万字 |
| GPT-4o | 128K | ~6万字 |
| Claude 3.5 | 200K | ~10万字 |
// 这些参数控制模型输出的随机性
// Temperature: 0.0-2.0
// 0.0 → 确定性强,每次输出几乎一样(适合代码生成、数据提取)
// 0.7 → 适中(适合对话、写作)
// 1.5+ → 很随机(适合创意写作、头脑风暴)
// 工程决策:
// 生产环境客服系统 → Temperature=0.3(回答稳定)
// 创意营销文案 → Temperature=0.8(有变化)
// 数据提取/分类 → Temperature=0.0(确定性输出)
// Top-P(核采样):0.0-1.0
// 只从概率累计到P的最可能Token中采样
// Top-P=0.1 → 只从最可能的10%Token中选
// Top-P=0.9 → 从90%的Token中选(更多样)
// Top-K:只从概率最高的K个Token中采样
// 生产环境一般设 Temperature + Top-P,不单独用Top-K
三种让大模型输出结构化数据的方式:
1. JSON Mode
- 告诉模型"请输出JSON格式"
- 模型会尽量输出JSON,但不保证schema正确
- 可能输出 {"name": "张三", "age": "二十"} ← age是字符串不是数字
- 风险:需要自己做schema校验
2. Structured Output
- 给定一个JSON Schema,模型严格按schema输出
- Spring AI的BeanOutputConverter / MapOutputConverter
- 保证类型正确,生产级推荐
3. Function Calling
- 不是输出JSON,是让模型决定"调用哪个函数"
- 模型返回函数名+参数 → 你的代码执行 → 结果返回给模型
- 这是Agent的基础能力
两个主流框架(2025年5月均发布1.0 GA):
┌─────────────────┬──────────────────────┬──────────────────────┐
│ 维度 │ Spring AI 1.0 │ LangChain4j 1.0 │
├─────────────────┼──────────────────────┼──────────────────────┤
│ 核心定位 │ Spring生态AI开发框架 │ Java LLM应用框架 │
│ 设计风格 │ Spring风格(Bean/注入) │ Builder风格(链式调用) │
│ 模型支持 │ OpenAI兼容接口为主 │ 30+模型提供商 │
│ RAG │ 内置但较基础 │ 更丰富(多种检索策略) │
│ Agent │ Function Calling │ ReAct/Plan-Execute │
│ MCP │ 支持 │ 支持 │
│ Spring Boot整合 │ 原生(官方) │ 需要额外依赖 │
│ 社区 │ Spring社区 │ 独立社区(增长快) │
│ 学习曲线 │ Spring开发者友好 │ 稍陡 │
│ 生产就绪度 │ GA,生产可用 │ GA,生产可用 │
└─────────────────┴──────────────────────┴──────────────────────┘
选型建议(面试怎么答):
- 如果团队技术栈以Spring为主 → Spring AI(学习成本低、生态整合好)
- 如果需要更灵活的Agent编排 → LangChain4j(功能更丰富)
- 理想状态:Spring AI做主框架,关键模块参考LangChain4j的设计
- 面试时强调:"我选Spring AI是因为团队全是Java/Spring开发者,学习成本最低"
你实际使用的是Spring AI 1.0,这是正确的选择,面试时可以从这个角度讲。
┌─────────────────────────────────────────────────────────────┐
│ 客户端(Web/App/Bot) │
└─────────────────────────┬───────────────────────────────────┘
│ HTTP/SSE
▼
┌─────────────────────────────────────────────────────────────┐
│ API网关(Gateway/Nginx) │
│ 认证鉴权 / 限流 / 路由 / 日志 │
└─────────────────────────┬───────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────────┐
│ AI应用服务层(Spring Boot) │
│ │
│ ┌──────────┐ ┌──────────┐ ┌──────────┐ ┌──────────┐ │
│ │ 对话管理 │ │ RAG管道 │ │ Agent编排 │ │ 工具管理 │ │
│ │ChatMemory│ │检索增强生成│ │ReAct/Plan│ │Tool注册 │ │
│ └──────────┘ └──────────┘ └──────────┘ └──────────┘ │
│ │
│ ┌──────────┐ ┌──────────┐ ┌──────────┐ │
│ │Prompt管理│ │模型路由器 │ │监控/评测 │ │
│ │版本/模板 │ │多模型切换 │ │Token/延迟│ │
│ └──────────┘ └──────────┘ └──────────┘ │
└─────────────────────────┬───────────────────────────────────┘
│
┌───────────┼───────────┐
▼ ▼ ▼
┌────────┐ ┌────────┐ ┌────────┐
│大模型API│ │向量数据库│ │业务数据库│
│GLM/GPT │ │Milvus/ │ │MySQL/ │
│DeepSeek│ │PGVector│ │Redis │
└────────┘ └────────┘ └────────┘
每个模块的职责和面试考察点:
| 模块 | 职责 | 面试高频问题 |
|---|---|---|
| 对话管理 | 会话隔离、上下文截断、历史持久化 | "多轮对话上下文超了怎么办?" |
| RAG管道 | 文档→切片→向量化→检索→重排→注入 | "召回率低怎么排查?" |
| Agent编排 | 任务规划→工具选择→执行→反馈循环 | "Agent和普通ChatBot区别?" |
| 工具管理 | Function注册/调用/结果回传 | "工具调用失败怎么降级?" |
| Prompt管理 | 模板版本控制/A/B测试 | "怎么证明新Prompt比旧的好?" |
| 模型路由 | 多供应商切换/降级/成本统计 | "API挂了怎么办?" |
| 监控评测 | Token消耗/响应延迟/效果追踪 | "上线后效果变差怎么定位?" |
基于2026年5月市场调研,面试官关注点按优先级排序:
第一优先级:你能不能把AI接入业务
→ RAG管道(几乎每场AI面试必考)
→ Function Calling / Tool Calling
→ 大模型API调用(SSE流式、错误处理、重试)
第二优先级:你有没有工程判断力
→ "为什么选这个方案而不是那个"(不是报菜名)
→ "遇到了什么问题,怎么排查的"(决策过程)
→ "效果不好怎么优化的"(数据驱动)
第三优先级:生产化能力
→ Token成本控制
→ 限流/降级/熔断
→ Prompt版本管理
→ 监控和评测
不要花时间准备的:
✗ Transformer架构细节(应用岗不考)
✗ 模型训练/Fine-tuning(不是你的方向)
✗ 数学推导(应用岗不考)
// pom.xml 核心依赖
// <dependency>
// <groupId>org.springframework.ai</groupId>
// <artifactId>spring-ai-openai-spring-boot-starter</artifactId>
// </dependency>
// application.yml
// spring:
// ai:
// openai:
// api-key: ${GLM_API_KEY}
// base-url: https://open.bigmodel.cn/api/paas/v4
// chat:
// options:
// model: glm-4-flash
// temperature: 0.3
@RestController
@RequestMapping("/api/chat")
public class ChatController {
private final ChatClient chatClient;
// Spring AI自动注入ChatClient(需要配置ChatModel Bean)
public ChatController(ChatModel chatModel) {
this.chatClient = ChatClient.builder(chatModel)
.defaultSystem("你是一个Java技术面试助手,用简洁的中文回答。")
.build();
}
// 同步调用
@PostMapping("/ask")
public String ask(@RequestBody String question) {
return chatClient.prompt()
.user(question)
.call()
.content();
}
// SSE流式调用
@GetMapping(value = "/stream", produces = MediaType.TEXT_EVENT_STREAM_VALUE)
public Flux<String> stream(@RequestParam String question) {
return chatClient.prompt()
.user(question)
.stream()
.content();
}
}
这个代码你必须在本地跑通,因为面试官会问:
错误回答:
"我们用了Spring AI、RAG、Function Calling、Advisor Chain..."
正确回答:
"我做了一个AI动态定价系统,解决OTA机票代理平台的定价效率问题。
>
之前定价完全靠人工看行情,运营人员一天只能调几十条。我设计了一个双管道架构:MQ触发的自动定价管道做批量处理,对话式管道给运营人员做精细调整。
>
技术上用Spring AI的Advisor Chain做管道编排,自定义了VectorStore对接智谱知识库实现RAG,用AOP+自定义注解注册了8个Tool函数。
>
遇到的主要问题是Tool调用链太长时上下文会溢出,后来通过压缩查询和截断历史解决了。"
回答:
"我们团队全部是Java/Spring技术栈,Spring AI的学习成本最低——ChatClient/ChatModel这些抽象跟Spring Data的风格一致,团队一周就能上手。
>
而且Spring AI和Spring Boot的整合是原生的,Bean注入、配置管理、Actuator监控都开箱即用。
>
LangChain4j功能更丰富,特别是Agent编排部分,但对我们这个定价系统的复杂度来说Spring AI够用了。如果后续需要更复杂的Multi-Agent编排,可以考虑引入LangChain4j的langgraph4j模块。"
回答:
"我们做了三层保障:
1. 自动重试:用Spring Retry对429(限流)和503(服务不可用)做指数退避重试
2. 模型降级:主用GLM-4,如果GLM不可用自动切到DeepSeek,配置在Nacos里动态切换
3. 业务降级:如果所有模型都不可用,自动定价管道暂停(MQ消息堆积但不会丢),对话式管道返回'暂时无法处理,请稍后重试'"
>
"关键是降级策略要提前设计好,不能等问题出现才临时处理。"
1. 创建Spring Boot 3.5项目
2. 引入spring-ai-openai-spring-boot-starter
3. 配置GLM API(或DeepSeek API)
4. 实现同步和SSE流式两个接口
5. 用curl测试
# 测试同步
curl -X POST http://localhost:8080/api/chat/ask \
-H "Content-Type: text/plain" \
-d "HashMap的底层原理是什么?"
# 测试流式
curl http://localhost:8080/api/chat/stream?question=HashMap的底层原理
1. 在Advisor中记录每次请求的Token数
2. 统计不同Prompt长度对Token消耗的影响
3. 计算单次调用的成本(GLM-4-Flash: 0.1元/百万Token)
P3-02将深入Spring AI 1.0源码,从ChatClient到ChatModel的完整调用链路,理解每个扩展点的设计意图。