ForkJoinPool工作窃取与AOF重写与Docker网络与OS调度算法追问精讲
上篇:ForkJoinPool工作窃取
一、ForkJoinPool核心(必背)
ForkJoinPool = 用于分治任务的线程池(JDK7+)
适用:可拆分的递归任务(归并排序/大数据处理/并行计算)
核心思想:分治(Fork) + 合并(Join)
fork():拆分子任务异步执行
join():等待子任务结果合并
vs 普通ThreadPoolExecutor:
普通:共享任务队列,所有线程竞争一个队列
ForkJoin:每个线程有独立的双端队列,工作窃取
二、工作窃取(Work-Stealing)原理(高频)
工作窃取:空闲线程从其他线程队列"偷"任务
机制:
每个线程有双端队列(deque)
自己的任务:LIFO(后进先出,栈式,缓存友好)
偷别人的:FIFO(先进先出,从队尾偷,减少竞争)
好处:
①负载均衡(忙的线程帮闲的线程分担)
②减少竞争(各自队列,不争一个队列)
③缓存友好(LIFO访问刚加入的任务,热数据)
追问:
Q: 工作窃取为什么用双端队列?
A: 自己操作一端(LIFO),偷的人操作另一端(FIFO)。
减少冲突(两端并发操作不同端)。
Q: parallelStream用什么线程池?
A: ForkJoinPool.commonPool()(共享)。所有parallelStream用同一个。
注意:不要在parallelStream里做阻塞操作(会占满共享池影响其他)。
Q: ForkJoinPool适合什么场景?
A: CPU密集+可分治:排序/搜索/矩阵运算/大数据处理。
✗ IO密集不适合(IO阻塞线程,窃取没意义)。
Q: 工作窃取的缺点?
A: ①双端队列有开销(非零成本);②窃取有竞争(多线程偷同一队列);
③任务要够多够细(否则窃取没意义)。
三、ForkJoin实战
// 归并排序用ForkJoin
class MergeSortTask extends RecursiveAction {
int[] arr; int lo, hi;
protected void compute() {
if (hi - lo < 1000) { mergeSort(arr, lo, hi); return; }
int mid = (lo + hi) / 2;
MergeSortTask left = new MergeSortTask(arr, lo, mid);
MergeSortTask right = new MergeSortTask(arr, mid + 1, hi);
invokeAll(left, right); // 并行执行两个子任务
merge(arr, lo, mid, hi); // 合并
}
}
// ForkJoinPool pool = new ForkJoinPool();
// pool.invoke(new MergeSortTask(arr, 0, arr.length-1));
中篇:Redis AOF重写
四、AOF重写原理(高频)
问题:AOF文件记录每条写命令,越来越大(重复/过期的命令占空间)
AOF重写(rewrite):用最小命令集重建AOF文件
例:INCR count执行100次 → 重写为 SET count 100(一条命令替代100条)
重写流程(bgrewriteaof):
1.fork子进程(不阻塞主进程)
2.子进程遍历当前内存数据,生成最小命令集写入新AOF
3.重写期间的新写命令→同时写入旧AOF和重写缓冲区
4.子进程完成→父进程把缓冲区命令追加到新AOF→替换旧AOF
五、追问链
Q: AOF重写期间有新命令怎么办?
A: 重写期间的新命令同时写旧AOF(保证不丢)+写重写缓冲区。
子进程完成后,把缓冲区追加到新AOF(保证重写期间的数据在新文件)。
Q: 重写会阻塞吗?
A: fork子进程时短暂阻塞(fork本身),之后子进程重写不阻塞主进程。
但fork大内存实例会慢(copy-on-write,页表复制)。
Q: AOF重写触发条件?
A: 自动:auto-aof-rewrite-percentage 100(文件翻倍) / auto-aof-rewrite-min-size 64mb
手动:BGREWRITEAOF命令
Q: 混合持久化是什么?(Redis 4.0+)
A: AOF重写时,新文件前半部分写RDB格式(全量快照),后半部分写增量命令。
重启:先加载RDB(快) → 再回放增量命令(补全)。
兼顾恢复速度(RDB快) + 数据安全(增量少丢)。
aof-use-rdb-preamble yes 开启。
下篇:Docker网络模式
六、四种网络模式(必背)
1.bridge(默认,桥接)
Docker创建虚拟网桥(docker0),容器通过veth pair连接
容器有独立IP,和宿主机隔离,通过NAT访问外部
适用:大多数场景(容器隔离)
2.host(主机模式)
容器直接用宿主机网络栈(没有独立IP,共享宿主机端口)
性能最好(无NAT/无虚拟网络开销)
✗ 端口冲突(和宿主机抢端口)
适用:极致网络性能(不推荐常规用)
3.none(无网络)
容器没有网络(lo回环除外)
适用:离线计算/安全隔离
4.container(容器模式)
新容器复用已有容器的网络栈(共享IP/端口)
适用:Sidecar模式(辅助容器和主容器同网络)
5.overlay(跨主机,Swarm/K8s用)
跨多台主机的容器通信(VXLAN隧道)
适用:多主机集群(Docker Swarm/K8s的Pod网络)
七、追问链
Q: bridge模式怎么访问外部?
A: 通过NAT。容器(172.17.0.2)→docker0网桥→宿主机eth0(NAT转换)→外部。
外部不能直接访问容器(要用端口映射 -p 8080:80)。
Q: 两个容器怎么通信?
A: ①同一bridge网络:直接用容器名解析(dns)通信
②不同网络:创建自定义bridge把两个容器加入,或用host网络
docker network create mynet; docker run --network=mynet ...
Q: K8s的网络模型和Docker区别?
A: K8s:每个Pod有唯一IP,Pod间直接通信(无NAT,扁平网络)。
Docker:默认bridge有NAT,容器间通过docker0。
K8s用CNI插件(Calico/Flannel)实现Pod扁平网络。
Q: Docker网络的性能瓶颈?
A: bridge模式有NAT开销(性能不如host)。
veth pair有上下文切换开销。
高性能场景:host模式(最快)或SR-IOV/Macvlan(硬件虚拟化)。
末篇:OS调度算法
八、进程调度算法(必懂几种)
1.FCFS(先来先服务):按顺序执行,简单但不公平(IO慢的拖后面)
2.SJF(短作业优先):最短优先,平均等待短但可能饿死长作业
3.时间片轮转(RR):每个进程分时间片,公平但上下文切换多
4.优先级调度:按优先级,高优先先执行(可能饿死低优先)
5.多级反馈队列:综合(多个队列+时间片递增+动态优先级)
Linux用CFS(Completely Fair Scheduler,完全公平调度器):
理念:公平分配CPU时间(每个进程获得公平的CPU份额)
实现:红黑树维护虚拟运行时间(vruntime),vruntime最小的先执行
不是绝对公平(优先级高的vruntime增长慢,分更多CPU)
九、CFS追问
Q: CFS的vruntime是什么?
A: 虚拟运行时间。进程运行时vruntime增长。
CFS选vruntime最小的进程执行(最"亏"的优先)。
优先级高的进程vruntime增长慢(相同时间分到更多CPU)。
Q: CFS为什么用红黑树?
A: 红黑树有序(最左节点=vruntime最小=下一个执行)。
插入/删除O(log n),高效。
不用堆(堆删除中间元素慢)。
Q: 进程优先级nice值?
A: nice -20到19(默认0)。负值高优先(要root),正值低优先。
映射到CFS权重(nice越低权重越高,分更多CPU)。
Q: 线程和进程在调度上区别?
A: Linux线程=轻量进程(task_struct),调度器不区分进程线程(都按task调度)。
线程共享地址空间(切换快),进程独立空间(切换慢,TLB失效)。
真题来源
相关页面