CA4 存储层次

存储层次重要性

期望拥有无限容量的快速存储器，但是快速存储器的比特价格远远高于慢速存储器的比特价格

当数据在 Cache 中，称为 Cache 命中
当数据不在 Cache 中，称为 Cache 未命中
- CPU停止执行
- 硬件将未命中的数据块从主存移动到 Cache 中
- 如果数据不在主存中，则继续到下一个存储层次——虚存中寻找
  - 主存和虚存的关系与cache与主存的关系一样的

直接映射direct mapped：数据块与位置一一对应（1个位置）
全相联fully associative：数据块可以放在任意位置（所有位置）
组相联set associative：数据块可以放在几个预定位置（几个位置）
块地址 mod cache中的组数
对于n路组相联，n值越大
- 实现代价越高，绝大多数cache 采用1路（直接映射），2路，4路组相联
- 振荡的可能性越低
  振荡：两个块竞争同一个块帧地址，并交替地循环访问

当想要访问的数据块未命中时，cache 控制器必须做出反应
- 对于直接映射方式，将主存中读取新数据直接覆盖未命中的数据块
- 对于 n 路组相联方式，必须对 n 个可能的被覆盖数据块位置进行选择
三种选择策略
- 随机：实现容易
- FIFO先进先出：实现比较困难
- LRU最近最少使用：cache 容量越大，实现越困难

现象：读操作比写操作多
基本原理：提高经常情形——读操作的性能
- cache 设计者花费绝大多数精力加快读操作，对写操作关注较少
- 根据 amdahl 定律，写操作太慢，整个系统性能会很差
- 必须提高写操作性能
两种写策略
- 写透write through：新数据被同时写入cache数据块和低一级存储器
- 写回write back
  - 如果写命中，则新数据只写入 cache 数据块
  - 如果写不命中，则首先将被替换的数据块“写回”低一级存储器，然后将新数据写入相应的 Cache 数据块
脏（dirty）位：表示被替换 cache 数据块是否需要“实际写回”低一级存储器

为命中率miss rate：cache 访问中未命中访问的比例
- 局部未命中率local：在该 cache 中未命中访问的次数与对该 cache 访问总次数之比
- 全局未命中率global：在该 cache 中未命中访问的次数与处理器发出的访问总数之比
平均存储访问时间
$AccessTime=HitTime_1+MissRate_1*MissPenalty_{L1}$
$MissPenalty_{L1}=HitTime_2+MissRate_2*MissPenalty_{L2}$
一级一级迭代
每指令未命中
$\frac{Misses}{Instruction}=\frac{MemAcc}{InsCnt}*\frac{MissAcc}{MemAcc}=MissRate*\frac{MemAcc}{Inscnt}$
- 优点：独立于硬件实现
- 缺点：与体系结构无关
未命中类型
- 强制性：对数据块的第一次访问
- 容量：前期被替换且稍后又被访问的数据块
- 冲突：程序重复访问处于多个存储地址的不同数据块，而这些数据块恰好映射到 cache 中相同位置
- 一致性：多个处理器中多个 cache 内容不一致

加大数据块容量
- 减少强制性不命中（数据块块容量大了）
- 增加容纳能力和冲突不命中，增加不命中惩罚（因为cache 容量固定，块变大了，块数变少了，每块包含的数据内容变多）
加大 Cache 总容量
- 降低未命中率
- 增加命中时间，增加功耗
提高关联性
- 减少冲突不命中
- 增加命中时间，增加功耗
增加 Cache 级数
- 减少总的存储器访问时间
读操作未命中优先于写操作
- 减少未命中惩罚
避免 Cache 索引中的地址转换
- 减少命中时间

性能指标
- 延时：cache 关心的问题
- 带宽：多处理器和I/O关心的问题
- 访问时间：从发出读请求到访问存储字到达间隔的时间
- 周期时间：不相关存储请求之间的最小间隔时间
存储器类型
- SRAM：低延时，用于存储器芯片上1-3级Cache
  - 功率低
  - 访问时间接近周期时间
  - 6个晶体管
- DRAM：将芯片组织为许多高带宽的存储体，用于主存。
  - 读操作之后必须重写
  - 必须周期性刷新
    - 8ms刷新一次