操作系统第三章:内存

操作系统第三章

恭喜你已经度过了漫长的进程,但这个章节更加抽象。

内存

内存是计算机中用于临时存储正在运行的程序和所需数据的硬件部件。详细解释在计算机组成原理的笔记中。

内存可存放数据。程序执行前需要先放到内存中才能被CPU处理,以缓和CPU与硬盘之间的速度矛盾。

我们需要区分各个程序的数据是放在什么地方,所以就需要给内存的存储单元编地址。

关于按字节编址和按字编址:

image-20260324152529861

$$
{2^{10}=1K}\\ {2^{20}=1M}\ {2^{30}=1G}\
$$

所以,一台手机/电脑有4GB内存,是指该内存中可以存放4 * 2^30个字节。如果是按字节编址的话,也就是有4*2^30=2^32个“小房间,也就是42 亿个字节单元

编址是很重要的,增删改查都是通过地址进行的。

image-20260324153738790

image-20260324154100675

如果是绝对寻址,写入到79的操作是危险的,因为79很可能是分配给其他进程使用的,这会干扰其他进程的正常运行。

在内存管理这个章节中,我们需要了解三种装入方式:

  • 绝对装入
  • 可重定位装入
  • 动态运行时装入

绝对装入

单道程序阶段,操作系统未诞生阶段。

在编译时,如果知道程序将放到内存中的哪个位置,编译程序将产生正确的绝对地址的目标代码。装入程序按照装入模块中的地址,将程序和数据装入内存。

灵活性很差,只适用于单道程序环境。

image-20260324154928062

可重定位装入

用于早期多道批处理操作系统

静态重定位:又称可重定位装入。编译、链接后的装入模块的地址都是从0开始的,指令中使用的地址、数据存放的地址都是相对于起始地址而言的逻辑地址。可根据内存的当前情况,将装入模块装入到内存的适当位置。装入时对地址进行“重定位”,将逻辑地址变换为物理地址(地址变换是在装入时一次完成的)。

image-20260324155012698

静态重定位的特点是在一个作业装入内存时,必须分配其要求的全部内存空间,如果没有足够的内存,就不能装入该作业。

理解这一点需要虚拟化技术,不用急。

动态运行时装入

灵活性高,用于现代操作系统

动态重定位:又称动态运行时装入。编译、链接后的装入模块的地址都是从0开始的。装入程序把装入模块装入内存后,并不会立即把逻辑地址转换为物理地址,而是把地址转换推迟到程序真正要执行时才进行。因此装入内存后所有的地址依然是逻辑地址。这种方式需要一个重定位寄存器的支持。

image-20260324155406352

动态重定位允许程序在内存中发生移动并且可将程序分配到不连续的存储区中;在程序运行前只需装入它的部分代码即可投入运行,然后在程序运行期间,根据需要动态申请分配内存;便于程序段的共享,可以向用户提供一个比存储空间大得多的地址空间。

从程序编写到程序运行

image-20260324160030595

编译:由编译程序将用户源代码编译成若干个目标模块(编译就是把高级语言翻译为机器语言)

链接:由链接程序将编译后形成的一组目标模块,以及所需库函数链接在一起,形成一个完整的装入模块

装入(装载):由装入程序将装入模块装入内存运行

我们需要三种链接方式:

  • 静态链接:在程序运行之前,先将各目标模块及它们所需的库函数连接成一个完整的可执行文件(装入模块),之后不再拆开。
  • 装入时动态链接:将各目标模块装入内存时,边装入边链接的链接方式。
  • 运行时动态链接:在程序执行中需要该目标模块时,才对它进行链接。其优点是便于修改和更新,便于实现对目标模块的共享。

最后一种,如果全程用不到某个模块就不会被链接装入,灵活性更高,对内存的利用 也更充分。

内存管理

操作系统作为系统资源的管理者,也必须对内存进行管理。分为以下几个方面:

  • 操作系统负责内存空间的分配与回收
  • 操作系统需要提供某种技术从逻辑上对内存空间进行扩充(虚拟化)
  • 操作系统需要提供地址转换功能,负责程序的逻辑地址与物理地址的转换(装入)
  • 操作系统需要提供内存保护功能。保证各进程在各自存储空间内运行,互不千扰

内存保护

指的是限制某个进程只能在自己的划分空间内操作,而无法访问或者是修改操作系统内核等高权限空间和其他进程的无关空间。

image-20260324192945344

实现内存保护可以有以下:

  • 上下限寄存器法:在CPU中设置一对上、下限寄存器,存放进程的上、下限地址。进程的指令要访问某个地址时,CPU检查是否越界。
  • 双寄存器法:采用重定位寄存器(又称基址寄存器)和界地址寄存器(又称限长寄存器)进行越界检查。重定位寄存器中存放的是进程的起始物理地址。界地址寄存器中存放的是进程的最大逻辑地址。

进程的内存映像

我们结合一段C语言代码来理解。

image-20260324195501943

值得一提的是,宏定义的量X不会被专门分配到存储空间,而是在预编译阶段被替换为指定值1024,相当于隐含在程序指令当中。换句话说,X不作为变量存在,他只是1024的别称。

image-20260324195522812

覆盖与交换

这两个技术已经进入历史了。

覆盖

早期的计算机内存很小,比如BM推出的第一台PC机最大只支持1MB大小的内存。因此经常会出现内存大小不够的情况。对此,人们引入了覆盖技术。

核心思想:覆盖技术的思想:将程序分为多个段(多个模块)。常用的段常驻内存,不常用的段在需要时调入内存。

所以,内存中分为一个“固定区”和若干个“覆盖区”。需要常驻内存的段放在“固定区”中,调入后就不再调出(除非运行结束)
不常用的段放在’覆盖区”,需要用到时调入内存,用不到时调出内存。

image-20260325123743674

明显的缺点就是:程序的调用结构必须由程序员声明,这很麻烦。

交换

交换(对换)技术的设计思想:内存空间紧张时,系统将内存中某些进程暂时换出外存(挂起),把外存中某些已经具备运行条件的进程换入内存(进程在内存与磁盘间动态调度)。

本质上就是中级调度(内存调度)。

image-20260325124220213

被换下的进程需要放入外存,那么对磁盘就需要分区:

image-20260325124720668

具有对换功能的操作系统中,通常把磁盘空间分为文件区和对换区两部分。

文件区主要用于存放文件,主要追求存储空间的利用率,因此对文件区空间的管理采用离散分配方式;

对换区空间只占磁盘空间的小部分,被换出的进程数据就存放在对换区。

由于对换的速度直接影响到系统的整体速度,因此对换区空间的管理主要追求换入换出速度,因此通常对换区采用连续分配方式(学过文件管理章节后即可理解)。总之,对换区的I/O速度比文件区的更快。

交换通常在许多进程运行且内存吃紧时进行,而系统负荷降低就暂停。例如:在发现许多进程运行时经常发生缺页,就说明内存紧张,此时可以换出一些进程;如果缺页率明显下降,就可以暂停换出。

在实际运用中,可优先换出阻塞进程;可换出优先级低的进程;为了防止优先级低的进程在被调入内存后很快又被换出,有的系统还会考虑进程往内存的驻留时间。

但是PCB处于内核层,不会被换出外存。

内存空间的分配与回收

连续分配管理方式

  • 单一连续分配

在单一连续分配方式中,内存被分为系统区和用户区。系统区通常位于内存的低地址部分,用于存放操作系统相关数据;用户区用于存放用户进程相关数据。内存中只能有一道用户程序,连并发都不支持,用户程序独占整个用户区空间。

image-20260324200741336

优点:实现简单;无外部碎片;可以采用覆盖技术扩充内存;不一定需要采取内存保护(eg:早期的Pc操作系统MS-DOS)

缺点:不支持并发,且有一些分配给用户进程但是没有利用上的“内部碎片”被浪费掉了,存储器利用率很低。

  • 固定分区分配

将整个用户空间划分为若干个固定大小或者不等的分区,在每个分区中只装入一道作业,这样就形成了最早的、最简单的一种可运行多道程序的内存管理方式。

image-20260324201136659

分区大小相等:缺乏灵活性,但是很适合用于用一台计算机控制多个相同对象的场合(比如:钢铁厂有个相同的炼钢炉,就可把内存分为个大小相等的区域存n个炼钢炉控制程序)
分区大小不等:增加了灵活性,可以满足不同大小的程需求。根据常在系统中运行的作业大小情况进行划分(比如:划分多个小分区、适量中等分区、少量大分区)

如果是不等分区大小,就需要在内核区建立一个数据结构“分区说明表”,用来记录分区的大小,起始地址和状态等信息。

image-20260324201806905

优点:实现简单,没有外部碎片

缺点:当程序太大就只能使用覆盖技术来解决,且会产生内部碎片,利用率不是特别高

  • 动态分区分配

动态分区分配又称为可变分区分配。这种分配方式不会预先划分内存分区,而是在进程装入内存时,根据进程的大小动态地建立分区,并使分区的大小正好适合进程的需要。因此系统分区的大小和数目是可变的。(eg:假设某计算机内存大小为64MB,系统区8MB,用户区共56MB.)

image-20260324202747572

对此,操作系统会使用空闲分区表或者空闲分区链来记录内存使用情况。

image-20260324202901094

把一个新作业装入内存时,需要解决“多个 分区都能满足要求时,应该选择哪个分区来满足进程需求?”的问题。

所以须按照一定的动态分区分配算法,从空闲分区表(或空闲分区链)中选出一个分区分配给该作业。分配算法对系统性能有很大的影响。下一节我们会讲到。

算法需要将待分配的空闲分区分割,回收到的空闲分区自动合并,并在内存分区数据结构中更改。

动态分区分配没有内部碎片,但是有外部碎片。

  • 内部碎片,分配给某进程的内存区域中,如果有些部分没有用上。
  • 外部碎片,是指内存中的某些空闲分区由于太小而难以利用。

如果算法划分出4个12M的内存空间,但是这个破碎的内存空间无法被任何软件利用,那就是浪费了。

image-20260325130237756

但是我们能够通过紧凑技术将碎片拼凑起来,来减少外部碎片。

动态分区分配算法

在动态分区分配方式中,当很多个空闲分区都能满足需求时,应该选择哪个分区进行分配?解决方式有:

  • 首次适应算法

每次都从低地址开始查找,找到第一个能满足大小的空闲分区。

也就是空闲分区以地址递增的次序排列。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。

新进程需要9M,根据地址从小到大有1M ,60M,9M,那就近原则优先拆解60M的空间为9M和51M,给进程利用。

  • 最佳适应算法

由于动态分区分配是一种连续分配方式,为各进程分配的空间必须是连续的一整片区域。因此为了保证当“大进程”到来时能有连续的大片空间,可以尽可能多地留下大片的空闲区即,优先使用更小的空闲区。

也就是空闲分区按容量递增次序链接。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。

新进程需要9M,空闲有10M ,60M 79M,那就会优先拆解10M的空间为9M和1M,给进程利用。

缺点是:每次都选最小的分区进行分配,会留下越来越多的、很小的、难以利用的内存块。因此这种方法会产生很多的外部碎片。

  • 最坏适应算法,上者的反面

又称最大适应算法。为了解决最佳适应算法的问题一一即留下太多难以利用的小碎片,可以在每次分配时优先使用最大的连续空闲区,这样分配后剩余的空闲区就不会太小,更方便使用。

具体做法是:空闲分区按容量递减次序链接。每次分配内存时顺序查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。

新进程需要9M,空闲有10M ,60M 79M,那就会优先拆解79M的空间为9M和70M,给进程利用。

缺点:每次都选最大的分区进行分配,虽然可以让分配后留下的空闲区更大,更可用,但是这种方式会导致较大的连续空闲区被迅速用完。如果之后有“大进程”到达,就没有内存分区可用了。

  • 邻近适应算法

思想:首次适应算法每次都从链头开始查找的。这可能会导致低地址部分出现很多小的空闲分区,而每次分配查找时,都要经过这些分区,因此也增加了查找的开销。如果每次都从上次查找结束的位置开始检索,就能解决上述问题。

如何实现:空闲分区以地址递增的顺序排列(可排成一个循环链表)。每次分配内存时从上次查找结束的位置开始查找空闲分区链(或空闲分区表),找到大小能满足要求的第一个空闲分区。

image-20260325133220030

这是一个折中的算法:

首次适应算法每次都要从头查找,每次都需要检索低地址的小分区。但是这种规则也决定了当低地址部分有更小的分区可以满足需求时,会更有可能用到低地址部分的小分区,也会更有可能把高地址部分的大分区保留下来(最佳适应算法的优点)邻近适应算法的规则可能会导致无论低地址、高地址部分的空闲分区都有相同的概率被使用,也就导致了高地址部分的大分区更可能被使用,划分为小分区,最后导致无大分区可用(最大适应算法的缺点)

做一个表格横向对比:

算法 算法思想 分区排列顺序 优点 缺点
首次适应 从头到尾找适合的 分区 空闲分区以地址 递增次序排列 综合看性能最好。算 法开销小,回收分区 后一般不需要对空闲 分区队列重新排序
最佳适应 优先使用更小的分 区,以保留更多大 分区 空闲分区以容量 递增次序排列 会有更多的大分区被 保留下来,更能满足 大进程需求 会产生很多太小的、难以 利用的碎片;算法开销大, 回收分区后可能需要对空 闲分区队列重新排序
最坏适应 优先使用更大的分 区,以防止产生太 小的不可用的碎片 空闲分区以容量 递减次序排列 可以减少难以利用的 小碎片 大分区容易被用完,不利 于大进程;算法开销大 (原因同上)
邻近适应 由首次适应演变而 来,每次从上次查 找结束位置开始查 找 空闲分区以地址 递增次序排列 (可排列成循环 链表) 不用每次都从低地址 的小分区开始检索。 算法开销小(原因同 首次适应算法) 会使高地址的大分区也被 用完

基本分页存储管理

属于非连续分配管理方式,这是难点。

分页存储

内存空间分为一个个大小相等的分区(比如:每个分区 4KB),每个分区就是一个“页框”(页框=页帧=内存块=物理块=物理页面)。每个页框有一个编号,即“页框号(页框号=页帧号=内存块号=物理块号=物理页号),页框号从0开始。

进程的逻辑地址空间也分为与页框大小相等的一个个部分,每个部分称为一个“页”或“页面”。每个页面也有一个编号,即“页号”,页号也是从0开始。

页面虚拟内存中的固定大小块,是进程视角看到的“数据单元”。

页框物理内存中的固定大小块,是实际存放数据的“物理容器”。

就好像将作家写的文章变成书一样,需要书页来分割。

我们需要明确二者的关系:逻辑地址(又称虚拟地址)是程序使用的地址,由操作系统通过内存管理单元(MMU)和页表等机制,动态映射到实际的物理内存地址上。

初学易混一一页、页面vs页框、页帧、物理页页号、页面号和页框号、页帧号、物理页号。请了解完毕再前进。

image-20260325134455727

操作系统以页框为单位为各个进程分配内存空间。进程的每个页面分别放入一个页框中。也就是说,进程的页面与内存的页框有一一对应的关系。

一样地,划分操作也需要使用数据结构“页表”。

image-20260325134923512

值得一提的是,内存块就是页框,页框也是英文书里的直译。

这种结构实际上表达了页框与页面的映射对应关系。

Eg:假设某系统物理内存大小为4GB,页面大小为4KB,则每个页表项至少应该为多少字节?

内存块大小=页面大小=4KB。

那么4GB/4KB就是2^20个 内存块

那内存块号应该就是0-2^(20-1)

至少需要20bit表示,也就是3B。

但是页号是不需要占内存空间的,因为其是连续的。

image-20260325150059775

就好像数组的下标是不需要空间来存放一样。

但请记住,页表记录的只是内存块号,而不是内存块的起始地址,j号内存块的起始地址是j*内存块大小。

地址转换

进程在内存中连续存放时,操作系统是如何实现逻辑地址到物理地址的转换的?

image-20260325150416243

那么进程地址空间分页之后,操作系统又如何实现地址转换呢?

特点:虽然进程的各个页面是离散存放的,但是页面内部是连续存放的

如果要访问逻辑地址A,则

  • 确定逻辑地址A对应的“页号”P
  • 找到P号页面在内存中的起始地址(需要查页表)
  • 确定逻辑地址A的“页内偏移量”W

逻辑地址A对应的物理地址=P号页面在内存中的起始地址+页内偏移量W。

我们来讲解如何获取页号P,起始地址和页内偏移量W。

Eg:在某计算机系统中,页面大小是50B。某进程逻辑地址空间大小为200B,则逻辑地址110 对应的页号、页内偏移量是多少?

进程将被分为4个页面。

页号=逻辑地址/页面长度(取除法的整数部分)。
页内偏移量=逻辑地址%页面长度(取除法的余数部分)。

起始地址存在于页表中,只需要查页表即可。

所以,页号=110/50=2
页内偏移量=110%50=10

因为页面的地址是连续存放的,那么相除就能够表示所在区间,取余就能够表示偏移量。

以上是人工计算的办法,计算机内部需要进制计算,那样快很多:

假设计算机用32个二进制位表示逻辑地址,页面大小为4KB = 2^12B = 4096B

请回忆计算机组成原理的指令设计章节。

image-20260327142718612

Eg:逻辑地址2,用二进制表示应该是00000000000000000000000000000010
页号=2/4096=0=00000000000000000000,页内偏移量=2%4096=2=000000000010

Eg:逻辑地址4097,用二进制表示应该是00000000000000000001000000000001
页号=4097/4096=1=00000000000000000001,页内偏移量=4097%4096=1=000000000001

所以,如果每个界面大小为2^kB,用二进制数表示逻辑地址,则末尾K位即为页内偏移量,其余就是页号。将逻辑地址拆分就能快速确定页号P和页内偏移量W。

但是请注意:

image-20260327143405813

根据页号可以查询页表,而页表中记录的
只是内存块号,而不是内存块的起始地址。
J号内存块的起始地址=J*内存块大小

所以,页面大小刚好是2的整数次幂有很多好处:

  • 逻辑地址的拆分更加迅速一一如果每个页面大小为2^KB,用二进制数表示逻辑地址,则末尾K位即为页内偏移量,其余部分就是页号。因此,如果让每个页面的大小为2的整数幂,计算机硬件就可以很方便地得出一个逻辑地址对应的页号和页内偏移量,而无需进行除法运算,从而提升了运行速度。
  • 物理地址的计算更加迅速一一根据逻辑地址得到页号,根据页号查询页表从而找到页面存放的内存块号,将二进制表示的内存块号和页内偏移量拼接起来,就可以得到最终的物理地址。

也许需要看看计组才能理解这一块的本质。

image-20260327143710448

基本地址变换机构

基本地址变化机构就是用于实现逻辑地址到物理地址转换的一组硬件机构,能够借助进程的页表将逻辑地址转换为物理地址。

通常会在系统中设置一个页表寄存器(PTR),存放页表在内存中的起始地址F和页表长度M。
进程未执行时,页表的始址和页表长度放在进程控制块(PCB)中,当进程被调度时,操作系统内核会把它们放到页表寄存器中。

设页面大小为L,逻辑地址A到物理地址E的变换过程如下:

image-20260327145421158

首先,内存中被划分为系统区和用户区,页表寄存器中记录页表初始地址F(在物理内存中的起始地址)和页表长度M(M是页表中所包含的页表项总数,表示该进程有多少逻辑页面)。页表项是页表中的一个基本单元,它记录了操作系统为进程的一个逻辑页面分配的物理内存块的信息。页表项数量通常就等于进程的逻辑页面数

如果想访问的页号超出了M,那就是非法越界访问,那就会触发内部中断。

那么通过页表知道了页号和内存块号的键值对,就能够知道物理地址E,那就能够顺利访问物理内存了。

所以整个过程是5件事:

  • 根据逻辑地址计算出页号,页内偏移量
  • 判断是否越界
  • 查询页表,找到对应的页表项,确定页面存放的内存块号
  • 用内存块号和页内偏移量得到物理地址
  • 访问目标内存单元

使用文字重复一遍这个过程:

①计算页号P和页内偏移量W(如果用十进制数手算,则P=A/L,W=A%L;但是在计算机实际
运行时,逻辑地址结构是固定不变的,因此计算机硬件可以更快地得到二进制表示的页号、页内偏移量)
②比较页号P和页表长度M,若P≥M,则产生越界中断,否则继续执行。(注意:页号是从0开
始的,而页表长度至少是1,因此P=M时也会越界)
③页表中页号P对应的页表项地址=页表起始地址F+页号P页表项长度,取出该页表项内容b,
即为内存块号。(注意区分页表项长度、页表长度、页面大小的区别。页表长度指的是这个页表中总共有几个页表项,即总共有几个页:页表项长度指的是每个页表项占多大的存储空间;页面大小指的是个页面占多大的存储空间)
④计算E=b
L+W,用得到的物理地址E去访存。(如果内存块号、页面偏移量是用二进制表
示的,那么把二者拼接起来就是最终的物理地址了)

也许我应该加一个折叠的。

这里有一道题,没写上来。。

对页表项大小的进一步探讨

每个页表项的长度是相同的,页号是“隐含”的。

image-20260327152106299

具有快表的地址变换机构

基本地址变换机构的改进版本,能够让转换的过程变快。

快表,又称联想寄存器(TLB,translation lookaside buffer),是一种访问速度比内存快很多的高速缓存(TLB不是内存!),用来存放最近访问的页表项的副本,可以加速地址变换的速度。与此对应,内存中的页表常称为慢表。

回顾一下存储金字塔:

image-20260327153338077

回忆缓存的工作原理。

image-20260327154855134

进程第一次上处理机运行时,快表是空的,执行第一条指令时,判断没有越界,后检查空快表,自然不会命中,随即用内存中的页表计算出内存地址后访问内存,然后将访问的那一页放入快表。要访问下一个地址时,判断没有越界后,发现快表命中就能够直接在快表中计算出内存地址并访问,这就实现了基于快表的加速。请回忆局部性原理。

分步重复这个过程就是:

①CPU给出逻辑地址,由某个硬件算得页号、页内偏移量,将页号与快表中的所有页号进行比较。
②如果找到匹配的页号,说明要访问的页表项在快表中有副本,则直接从中取出该页对应的内存块
号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存元。因此,若快表命中,则访问某个逻辑地址仅需一次访存即可。
③如果没有找到匹配的页号,则需要访问内存中的页表,找到对应页表项,得到页面存放的内存块号,再将内存块号与页内偏移量拼接形成物理地址,最后,访问该物理地址对应的内存单元。因此,若快表未命中,则访问某个逻辑地址需要两次访存(注意:在找到页表项后,应同时将其存入快表,
以便后面可能的再次访问。但若快表己满,则必须按照一定的算法对旧的页表项进行替换)

有的系统可能支持快表和慢表同时查找,这样在快表未命中的时候能够节省一个遍历快表的时间。image-20260327160207339

局部性原理

分为时间局部性和空间局部性,请前去查看计算机组成原理的笔记。

二级页表和多级页表

image-20260327161852354

单级页表的问题在于:

  • 页表必须连续存放,当页表很大时,就需要占用多个连续的页框
  • 没有必要让整个页表都常驻内存,进程在一段时间内只需要访问某几个页面就可以正常运行了
  • 在64位系统中完全不可行

解决方式就是将长长的页表进行分组,使每个内存块刚好可以放入一个分组(比如上个例子中,页面大小4KB,每个页表项4B,每个页面可存放1K个页表项,因此每1K个连续的页表项为一组,每组刚好占一个内存块,再将各组离散地放到各个内存块中)。另外,要为离散分配的页表再建立一张页表,称为页目录表,或称外层页表,或称顶层页表。

二级页表非但不能节省空间,反而因为多了一张“页目录表”而多占了空间。它的真正价值在于:它不需要页表在内存中连续存放,且可以按需调入(不在内存里的页表项可以暂时放在磁盘)。

听起来很抽象,没关系。

32位逻辑地址空间,页表项大小为4B,页面大小为4KB,则页内地址占12位,页号就占20位,那么进程最多有2^20个页面。

image-20260327193215805

使用一个新的表来记录X#页表,记录第X页表和所在内存块号的映射关系,就是:

image-20260327193507633

看起来很像二级指针,那么如何才能实现地址转换呢?

就是根据顶级页表逐层查询内存块号。

image-20260327194455204

  • ①按照地址结构将逻辑地址拆分成三部分
  • ②从PCB中读出页目录表始址,再根据一级页号查页目录表,找到下一级页表在内存中的存放位置
  • ③根据二级页号查表,找到最终想访问的内存块号
  • ④结合页内偏移量得到物理地址

这就解决了第一个问题:页表必须连续存放,当页表很大时,就需要占用多个连续的页框。

至于第二个问题,可以给每个页表项增加一个标志位,记录它是否已经调入内存,若想访问的页面不在内存中,就触发缺页中断,随后将页面从外存调入内存。这个技术叫虚拟化技术,后面会详细介绍。

image-20260327194801323

同理,也可以使用多级页表,但是那可能会因为地址转换需要的访存次数变多而导致效率下降。

image-20260327195314827

基本分段存储

这是与分页管理平行的一个管理方式,最大的区别就是离散分配时所分配地址空间的基本单位不同。

进程的地址空间:按照程序自身的逻辑关系划分为若干个段,每个段都有一个段名(在低级语言中,程序员使用段名来编程),每段从0开始编址。

image-20260327200942742

编译程序会将段名转换为相应的段号。

image-20260327201218517

段号的位数决定了每个进程最多可以分几个段,而段内地址位数决定了每个段的最大长度是多少。

段表

务必记住,段表和单级页表都是目录,是为了快速找到目标内存地址,所以这一定是在空间上连续存放的。

你可以这么理解,段表是数组,段表项是数组元素。

程序分多个段,各段离散地装入内存,为了保证程序能正常运行,就必须能从物理内存中找到各个逻辑段的存放位置。为此,需为每个进程建立一张段映射表,简称“段表”

image-20260329102931793

  • 每个段对应一个段表项,其中记录了该段在内存中的起始位置(又称“基址”)和段的长度。
  • 各个段表项的长度是相同的。例如:某系统按字节寻址,采用分段存储管理,逻辑地址结构为(段号16位,段内地址16位),因此用16位即可表示最大段长。物理内存大小为4GB(可用32位表示整个物理内存地址空间)。因此,可以让每个段表项占16+32=48位,即6B。由于段表项长度相同,因此段号可以是隐含的,不占存储空间。若段表存放的起始地址为M,则K号段对应的段表项存放的地址为M+K*6

地址变换

image-20260329104717600

image-20260329105228875

和分页存储还是有一点不一样的。

首先,根据逻辑地址得到段号和段内地址,随后检查段号是否越界,如不越界就继续执行。随后查询段表,找到对应的段表项,找到其存放地址。

随后检查段内地址是否越界,随后计算物理地址,访问即可。

关于访存次数:

分段:第一次访存一一查内存中的段表,第二次访存一一访问目标内存单元。总共两次访存与分页系统类似,分段系统中也可以引入快表机构,将近期访问过的段表项放到快表中,这样可以少一次访问,加快地址变换速度。

分段和分页的横向对比

页是信息的物理单位。分页的主要目的是为了实现离散分配,提高内存利用率。分页仅仅是系统管理上的需要,完全是系统行为,对用户是不可见的。

段是信息的逻辑单位。分段的主要目的是更好地满足用户需求。一个段通常包含着一组属于一个逻辑模块的信息。分段对用户是可见的,用户编程时需要显式地给出段名。

页的大小固定且由系统决定。段的长度却不固定,决定于用户编写的程序。

分页的用户进程地址空间是一维的,程序员只需给出一个记忆符即可表示一个地址。

分段的用户进程地址空间是二维的,程序员在标识一个地址时,既要给出段名,也要给出段内地址。

image-20260329111212786

在好处方面:

分段比分页更容易实现信息的共享与保护。

不能被修改的代码称为纯代码或可重入代码(不属于临界资源),这样的代码是可以共享的。可修改的代码是不能共享的(比如,有一个代码段中有很多变量,各进程并发地同时访问可能造成数据不一致)

如生产者和消费者问题,两个进程之间可以使用一个共有的缓冲区段,具有相同的段长和基址,就能实现共享。

image-20260329112258752

如果使用分页来实现共享:

image-20260329112608552

对于段表和页表的设计:

image-20260329112846337

所以,因为分页是按照空间来划分而不是功能划分的,所以实现共享方面自然有缺陷。

段页式管理方式

分段和分页的管理方式

优点 缺点
分页管理 内存空间利用率高,不会产生外部碎片,只会有少量的页内碎片 不方便按照逻辑模块实现信息的共享和保护
分段管理 很方便按照逻辑模块实现信息的共享和保护 如果段长过大,为其分配很大的连续空间会很不方便。另外,段式管理会产生外部碎片

分段管理中产生的外部碎片也可以用“凑”来解决,只是需要付出较大的时间代价。

段页式采用“先分段再分页”的模式。

image-20260329114031884

所以,逻辑地址组成就需要变化。

image-20260329114105731

实际上是将段再按页拆分的结果。

段号的位数决定了每个进程最多可以分几个段。
页号位数决定了每个段最大有多少页。
页内偏移量决定了页面大小、内存块大小是多少。

“分段”对用户是可见的,程序员编程时需要显式地给出段号、段内地址。而将各段“分页”对用户是不可见的。系统会根据段内地址自动划分页号和页内偏移量因此段页式管理的地址结构是二维的。

image-20260329114923467

那么就涉及到数据结构。每个段对应一个段表项,每个段表项由段号、页表长度、页表存放块号(页表起始地址)组成。每个段表项长度相等,段号是隐含的。而每个页面对应一个页表项,每个页表项由页号、页面存放的内存块号组成。每个页表项长度相等,页号是隐含的。

地址转换

image-20260329115253169

所以有三次访存:

  • 第一次访问内存当中的段表
  • 第二次访问页表
  • 第三次访问目标内存单元

虚拟内存技术

这属于内存空间的扩充,终于来到了这里。

传统的存储管理方案有很多缺点:

image-20260329131612130

一次性:作业必须一次性全部装入内存后才能开始运行。这会造成两个问题:

  • 作业很大时,不能全部装入内存,导致大作业无法运行;
  • 当大量作业要求运行时,由于内存无法容纳所有作业,因此只有少量作业能运行,导致多道程序并发度下降。

驻留性:一旦作业被装入内存,就会一直驻留在内存中,直至作业运行结束。事实上,在一个时间段内,只需要访问作业的一小部分数据即可正常运行,这就导致了内存中会驻留大量的、暂时用不到的数据,浪费了宝贵的内存资源。

以上问题就能用虚拟技术来完成,虚拟技术是使用时间局部性和空间局部性来完成的。

时间局部性:如果执行了程序中的某条指令,那么不久后这条指令很有可能再次执行;如果某个数据被访问过,不久之后该数据很可能再次被访问。(因为程序中存在大量的循环)。
空间局部性:一旦程序访问了某个存储单元,在不久之后,其附近的储单元也很有可能被访问。(因为很多数据在内存中都是连续存放的,并且程序的指令也是顺序地在内存中存放的)。

所以,在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需信息从外存调入内存,然后继续执行程序
若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存。

在操作系统的管理下,在用户看来似乎有一个比实际内存大得多的内存,这就是虚拟内存

所以,虚拟内存具有以下特征。

  • 多次性:无需在作业运行时一次性全部装入内存,而是允许被分成多次调入内存。
  • 对换性:在作业运行时无需一直常驻内存,而是允许在作业运行过程中,将作业换入、换出。
  • 虚拟性:从逻辑上扩充了内存的容量,使用户看到的内存容量,远大于实际的容量。

虚拟内存技术的实现

虚拟内存技术,允许一个作业分多次调入内存。如果采用连续分配方式,会不方便实现。因此,虚拟内存的实现需要建立在离散分配(分页分段和段页式)的内存管理方式基础上,就有了请求式管理方式(请求分页,请求分段,请求段页式)。

其主要区别是:在程序执行过程中,当所访问的信息不在内存时,由操作系统负责将所需信息从外存调入内存,然后继续执行程序。若内存空间不够,由操作系统负责将内存中暂时用不到的信息换出到外存。

因为需要将信息在外存和内存中交换,所以操作系统需要提供调页和段置换功能。

页表机制

与基本分页管理相比,请求分页管理中,为了实现“请求调页”,操作系统需要知道每个页面是否已经调入内存:如果还没调入,那么也需要知道该页面在外存中存放的位置。这就需要将信息结构化地记录在页表当中。这就需要设计新的请求分页存储管理的页表:

image-20260329133606469

请求页表新增状态位,访问字段,修改位和外存地址。

缺页中断机构

image-20260329134150906

假设此时要访问逻辑地址=(页号,页内偏移量)=(0,1024)
在请求分页系统中,每当要访问的页面不在内存时,便产生一个缺页中断,然后由操作系统的缺页中断处理程序处理中断。

此时缺页的进程阻塞,放入阻塞队列,调页完成后再将其唤醒,放回就绪队列。

如果内存中有空闲块,则为进程分配一个空闲块,将所缺页面装入该块,并修改页表中相应的页表项。
如果内存中没有空闲块,则由页面置换算法选择一个页面淘汰,若该页面在内存期间被修改过,则要将其写回外存。未修改过的页面不用写回外存。

缺页中断是因为当前执行的指令想要访问的目标页面未调入内存而产生的,因此属于内中断。且它是由错误条件引起的,有可能被系统自行修复,所以属于“故障”。

地址变换机构

当发生页面调入或者调出时,需要对新来的页面进行地址补充,这就是地址变换。

要做的事情有三个:

  • 请求调页(查到页表项时进行判断
  • 页面置换(需要调入页面,但没有空闲内存块时进行)
  • 需要修改请求页表中新增的表项

与基本分页管理差不多:

image-20260329135013058

image-20260329135037794

红框就是请求式相对于基本分页增加的内容

补充点细节:

①只有“写指令”才需要修改“修改位”。并且,一般来说只需修改快表中的数据,只有要将
快表项删除时才需要写回内存中的慢表。这样可以减少访存次数。
②和普通的中断处理一样,缺页中断处理依然需要保留CPU现场。
③需要用某种“页面置换算法”来决定一个换出页面(下节内容)
④换入/换出页面都需要启动慢速的I/O操作,可见,如果换入I/O换出太频繁,会有很大的开销。
⑤页面调入内存后,需要修改慢表,同时也需要将表项复制到快表中。在具有快表机构的请求分页系统中,访问一个逻辑地址时,若发生缺页,则地址变换步骤是:

  • 查快表(未命中)
  • 查慢表(发现未调入内存)
  • 调页(调入的页面对应的表项会直接加入快表)
  • 查快表(命中)
  • 访问目标内存单元。

页面置换算法

页面置换算法用于实现将需要的页面调入内存和选择将哪个“不需要的页面”换到外存。

页面的换入、换出需要磁盘I/O,会有较大的开销,因此好的页面置换算法应该追求更少的缺页率。

最佳置换算法OPT

最佳置换算法(OPT,Optimal):每次选择淘汰的页面将是以后永不使用,或者在最长时间内不再被访问的页面,这样可以保证最低的缺页率。

image-20260329143402115

最佳置换算法可以保证最低的缺页率,但实际上,只有在进程执行的过程中才能知道接下来会访问到的是哪个页面。操作系统无法提前预判页面访问序列。因此,理想化的最佳置换算法是无法实现的。

先进先出置换算法(FIFO)

先进先出置换算法(FIFO):每次选择淘汰的页面是最早进入内存的页面。

实现方法:把调入内存的页面根据调入的先后顺序排成一个队列,需要换出页面时选择队头页面即可。队列的最大长度取决于系统为进程分配了多少个内存块。

image-20260329145149047

如果是有4个内存块:

image-20260329145310550

发现不对劲了吧:内存块增加了,但是缺页次数反而增多了,这被称为贝拉迪异常。这是因为这种算法几乎是完全不尊重局部性原则。

只有FIFO算法会产生Belady异常。另外,FIFO算法虽然实现简单,但是该算法与进程实际运行时的规律不适应,因为先进入的页面也有可能最经常被访问。因此,算法性能差。

最近最久未使用置换算法(LRU)

最近最久未使用置换算法(LRU,least recently used):每次淘汰的页面是最近最久未使用的页面。

实现方法:赋予每个页面对应的页表项中,用访问字段记录该页面自上次被访问以来所经历的时间。当需要淘汰一个页面时,选择现有页面中t值最大的,即最近最久未使用的页面。

image-20260329145741047

该算法的实现需要专门的硬件支持,虽然算法性能好,但是实现困难,开销大

时钟置换算法(CLOCK)

最佳置换算法性能最好,但无法实现;先进先出置换算法实现简单,但算法性能差;最近最久未使用置换算法性能好,是最接近OPT算法性能的,但是实现起来需要专门的硬件支持,算法开销大。

时钟置换算法是一种性能和开销较均衡的算法,又称CLOCK算法,或最近未用算法
(NRU,Not Recently Used)
简单的CLOCK算法实现方法:为每个页面设置一个访问位,再将内存中的页面都通过链接指针链接成一个循环队列。当某页被访问时,其访问位置为1。当需要淘汰一个页面时,只需检查页的访问位。
如果是0,就选择该页换出:如果是1,则将它置为0,暂不换出,继续检查下一个页面,若第一轮扫描中所有页面都是1,则将这些页面的访问位依次置为0后,再进行第二轮扫描(第二轮扫描中一定会有访问位为0的页面,因此简单的CLOCK算法选择一个淘汰页面最多会经过两轮扫描)。

image-20260329150524108

如图,头1,3,4,2,5后他们组成了一个时钟,经过两轮扫描,会将1号置换为6号,并将6号设置为1,随后按次序访问4号后发现没有7号而发生缺页中断,然后扫描到2号为0,随后将2号置换为7号页面。

改进型时钟置换算法

简单的时钟置换算法仅考虑到一个页面最近是否被访问过。事实上,如果被淘汰的页面没有被修改过,就不需要执行IO操作写回外存。只有被淘汰的页面被修改过时,才需要写回外存。

因此,除了考虑一个页面最近有没有被访问过之外,操作系统还应考虑页面有没有被修改过。在其他条件都相同时,应优先淘汰没有修改过的页面,避免I/O操作。这就是改进型的时钟置换算法的思想。

修改位=0,表示页面没有被修改过;修改位=1,表示页面被修改过。

为方便讨论,用(访问位,修改位)的形式表示各页面状态。如(1,1)表示一个页面近期被访问过,且被修改过。

那么算法规则就是:

将所有可能被置换的页面排成一个循环队列

  • 第一轮:从当前位置开始扫描到第一个(0,0)的帧用于替换。本轮扫描
    不修改任何标志位
  • 第二轮:若第一轮扫描失败,则重新扫描,查找第一个(0,1)的帧用于替换。本轮将所有扫描过的帧访问位设为0
  • 第三轮:若第二轮扫描失败,则重新扫描,查找第一个(0,0)的帧用于替换。本轮扫描不修改任何标志位
  • 第四轮:若第三轮扫描失败,则重新扫描,查找第一个(0,1)的帧用于
    替换。

由于第二轮已将所有帧的访问位设为0,因此经过第三轮、第四轮扫描一定会有一个帧被选中,因此改进型CLOCK置换算法选择一个淘汰页面最多会进行四轮扫描

image-20260330140947195

这就是一个需要经过四轮扫描的例子。

这种算法,优先级如下:

  • 第一优先级:最近没访问且没修改的页面
  • 第二优先级:最近没访问但修改过的页面
  • 第三优先级:最近访问过但没修改的页面
  • 第四优先级:最近访问过且修改过的页面

页面分配策略

驻留集:请求分页存储管理中给进程分配的物理块的集合。

在采用了虚拟存储技术的系统中,驻留集大小一般小于进程的总大小。那我们来考虑一个极端情况,若某进程共有100个页面,则该进程的驻留集大小为100时进程可以全部放入内存,运行期间不可能再发生缺页。若驻留集大小为1,则进程运行期间必定会极频繁地缺页。

所以,若驻留集太小,会导致缺页频繁,系统要花大量的时间来处理缺页,实际用于进程推进的时间很少;驻留集太大,又会导致多道程序并发度下降,资源利用率降低。所以应该选择一个合适的驻留集大小。

人们想出了两种分配方式:

固定分配:操作系统为每个进程分配一组固定数目的物理块,在进程运行期间不再改变。即,驻留集大小不变
可变分配:先为每个进程分配一定数目的物理块,在进程运行期间,可根据情况做适当的增加或减少。即,驻留集大小可变

那么针对页面置换的范围,又提出两种策略。

局部置换:发生缺页时只能选进程自己的物理块进行置换。
全局置换:可以将操作系统保留的空闲物理块分配给缺页进程,也可以将别的进程持有的物理块置换到外存,再分配给缺页进程。

局部置换 全局置换
固定分配 V /
可变分配 V V

全局置换意味着一个进程拥有的物理块数量必然会改变,因此不可能是固定分配。

固定分配局部置换

固定分配局部置换:系统为每个进程分配一定数量的物理块,在整个运行期间都不改变。若进程在运行中发生缺页,则只能从该进程在内存中的页面中选出一页换出,然后再调入需要的页面。

这种策略的缺点是:很难在刚开始就确定应为每个进程分配多少个物理块才算合理。(采用这种策略的系统可以根据进程大小、优先级、或是根据程序员给出的参数来确定为一个进程分配的内存块数)

可变分配全局置换

可变分配全局置换:刚开始会为每个进程分配一定数量的物理块。操作系统会保持一个空闲物理块队列。当某进程发生缺页时,从空闲物理块中取出一块分配给该进程:若己无空闲物理块,则可选择一个**未锁定的页面(部分锁定的内核界面是不能被换出外存的)**换出外存,再将该物理块分配给缺页的进程。采用这种策略时,只要某进程发生缺页,都将获得新的物理块,仅当空闲物理块用完时,系统才选择一个未锁定的页面调出。

被选择调出的页可能是系统中任何一个进程中的页,因此这个被选中的进程拥有的物理块会减少,缺页率会增加。

可变分配局部置换

可变分配局部置换:刚开始会为每个进程分配一定数量的物理块。当某进程发生缺页时,只允许从该进程自己的物理块中选出一个进行换出外存。如果进程在运行中频繁地缺页,系统会为该进程多分配几个物理块,直至该进程缺页率趋势适当程度;反之,如果进程在运行中缺页率特别低,则可适当减少分配给该进程的物理块。

注意:

可变分配全局置换:要缺页就给分配新物理块

可变分配局部置换:要根据发生缺页的频率来动态地增加或减少进程的物理块

对于何时调入页面的问题,人们提出了几种策略。

  • 预调页策略:根据局部性原理,一次调入若干个相邻的页面可能比一次调入一个页面更高效。但如果提前调入的页面中大多数都没被访问过,则又是低效的。因此可以预测不久之后可能访问到的页面,将它们预先调入内存,但目前预测成功率只有50%左右。故这种策略主要用于进程的首次调入,由程序员指出应该先调入哪些部分。
  • 请求调页策略:进程在运行期间发现缺页时才将所缺页面调入内存。由这种策略调入的页面一定会被访问到,但由于每次只能调入一页,而每次调页都要磁盘I/O操作,因此I/O开销较大。主要用于运行时调入。

对于从何处调入页面:

外存具有读/写速度更快,采用连续分配方式的对换区和读写更慢,采用离散分配的方式的文件区两个区。

置换方式有三种 :

  • 系统拥有足够的对换区空间:页面的调入、调出都是在内存与对换区之间进行,这样可以保证页面的调入、调出速度很快。在进程运行前,需将进程相关的数据从文件区复制到对换区。

image-20260330144421716

  • 系统缺少足够的对换区空间:凡是不会被修改的数据都直接从文件区调入,由于这些页面不会被修改,因此换出时不必写回磁盘,下次需要时再从文件区调入即可。对于可能被修改的部分,换出时需写回磁盘对换区,下次需要时再从对换区调入。

    image-20260330144506873

  • UNIX方式:运行之前进程有关的数据全部放在文件区,故未使用过的页面,都可从文件区调入。若被使用过的页面需要换出,则写回对换区,下次需要时从对换区调入。

image-20260330144543858

抖动现象

刚刚换出的页面马上又要换入内存,刚刚换入的页面马上又要换出外存,这种频繁的页面调度行为称为抖动,或颠簸。产生抖动的主要原因是进程频繁访问的页面数目高于可用的物理块数(分配给进程的物理块不够)

这会导致大量的时间用于换入换出而不是执行,整体效率下降。

而分配物理块数又是一个问题,所以为了搞清楚进程需要多少物理块,需要引入工作集概念。

工作集

驻留集:指请求分页存储管理中给进程分配的内存块的集合。

工作集:指在某段时间间隔里,进程实际访问页面的集合。

操作系统会根据“窗口尺寸”来算出工作集。例:某进程的页面访问序列如下,窗口尺寸为4,各时刻的工作集为?

image-20260330145048910

注意,这里具有集合的属性,不统计一样的。

工作集大小可能小于窗口尺寸,实际应用中,操作系统可以统计进程的工作集大小,根据工作集大小给进程分配若干内存块。如:窗口尺寸为5,经过一段时间的监测发现某进程的工作集最大为3,那么说明该进程有很好的局部性,可以给这个进程分配3个以上的内存块即可满足进程的运行需要。一般来说,驻留集大小不能小于工作集大小,否则进程运行过程中将频繁缺页。

内存映射文件

内存映射文件一一操作系统向上层程序员提供的功能(系统调用)

通过该功能,能够做到:

  • 方便程序员访问文件数据
  • 方便多个进程共享同一个文件

现在来看看第一个作用:

传统访问方式

image-20260330145818757

听起来很麻烦对吧。

如果使用内存映射文件就不用这么麻烦。

image-20260330150217174

手动读写的步骤被省略,将由操作系统自动完成。

然后看第二个作用:

两个进程会分别将文件从磁盘映射自己的虚拟地址空间中,而操作系统会修改页表将他们放到一起便于实现共享。

image-20260330150452317