Chinaunix首页 | 论坛 | 博客
  • 博客访问: 665472
  • 博文数量: 487
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 4936
  • 用 户 组: 普通用户
  • 注册时间: 2018-07-05 13:59
个人简介

ocp考试资料群:569933648 验证码:ocp OCP 12c 19c考试题库解析与资料群:钉钉群号:35277291

文章分类

全部博文(487)

文章存档

2024年(2)

2023年(37)

2021年(151)

2020年(37)

2019年(222)

2018年(38)

我的朋友

分类: Mysql/postgreSQL

2023-07-20 17:19:49


PostgreSQL从小白到专家,是从入门逐渐能力提升的一个系列教程,内容包括对PG基础的认知、包括安装使用、包括角色权限、包括维护管理、、等内容,希望对热爱PG、学习PG的同学们有帮助,欢迎持续关注CUUG PG技术大讲堂。

第23讲:缓冲区管理器

内容1 : 缓冲区概述

内容2 : 缓冲区管理器结构

内容3 : 缓冲区管理器锁

内容4 : 缓冲区管理器如何工作

内容5 : 环形缓冲区

内容6 : 脏块写


缓冲区概述

· 缓冲区结构(存放各种类型的数据块)

    数据文件页—表和索引块

    可用空间地图块

    可见性地图块

    缓冲区数组索引--buffer_ids

· Buffer Tag结构

    RelFileNode (分别为表对象oid、数据库oid、表空间oid)

    页面的fork number (分别为0、1、2)

    页面number 示例:

    缓冲区标记{(16821、16384、37721)、0、7}

    1、标识第七个块中的页

    2、其关系的OID和fork号分别为37721和0(0即为存放表数据的文件)

    3、该块存放在OID为16384的数据库中,表空间的OID为16821

· Backend进程读数据块到缓冲区

· 写脏块

    下面进程工作时会导致脏块写:

    · Checkpointer

    · background writer


缓冲区管理器结构

· 管理器结构

· {BANNED}中国第一层(Buffer Table)

    在这一层内置的hash函数将buffer_tags映射到插槽,插槽中记录了buffer_tags和描述层的buffer_id的映射关系。

· 第二层(Buffer Descriptor)

    描述层包含了很多重要的信息,包括buffer_tag与缓冲池插槽id的映射关系,访问次数统计,锁等信息。

    · Tag

     · buffer_id

     · refcount (被进程访问过一次加一,被时钟扫描过后减一,为零时可用)

     · usage_count

     · context_lock and io_in_progress_lock

     · Flags

     dirty bit

             valid bit

         io_in_progress bit

     · freeNext

· Buffer Descriptors Layer (Loading the first page)

    先请求一个缓冲区空间,buffer table层把描述层的buffer_id与buffer_tag进行映射;然后在描述层把buffer_tag与缓冲区id进行映射;{BANNED}最佳后把数据块读到相应的缓冲区槽中。

· 第三层(Buffer Pool)

    缓冲池是存储数据文件页(如表和索引)的简单数组。缓冲池数组的索引称为buffer_ids。

    缓冲池被分割成大小为8 KB的插槽,等于页面大小。因此,每个槽可以存储整个页面。缓冲区管理器锁

· Buffer Manager Locks

    缓冲区管理器为许多不同的目的使用许多锁

    锁是缓冲区管理器同步机制的一部分;它们与任何SQL语句和SQL选项都不相关

· Buffer Table 层的锁

    BufMappingLock保护整个缓冲表的数据完整性。它是一个轻量锁,可以在共享和独占模式下使用。在缓冲区表中搜索条目时,后端进程保存共享的BufMappingLock。当插入或删除条目时,后端进程持有独占锁。

· Buffer Descriptor 层锁

    每个缓冲区描述符使用两个轻量级锁

        · content_lock

        · io_in_progress_lock

· content_lock

content_lock是一种典型的强制访问限制的锁。它可以用于共享和独占模式。

当执行下列操作之一时,将获取独占内容锁:

· dml操作

· 物理删除元组或压缩存储页上的可用空间(vacuum和HOT处理)

· 冻结存储页中的元组

· io_in_progress_lock

    io_in_progress锁用于等待缓冲区上的I/O完成。当PostgreSQL进程从存储器加载/写入页面数据时,该进程在访问存储器时持有相应描述符的独占io_in_progress锁。

· spinlock

    下面显示如何固定缓冲区描述符:

    1、获取缓冲区描述符的自旋锁。

    2、将其refcount和usage_count的值增加1。

    3、松开旋转锁。

    下面显示如何将脏位设置为“1”:

    1、获取缓冲区描述符的自旋锁。

    2、使用按位操作将脏位设置为“1”。

    3、松开旋转锁。


缓冲区管理器如何工作

· 访问已存放在缓冲区中的数据块

· 加载数据块到空的缓冲池插槽

· 加载数据块到一个需要释放的缓冲池插槽

· 缓冲区块替换机制

    替换页面算法

        · 时钟扫描(8.1开始及以后的版本)

        · LRU算法(8.1以前的版本)

· 时钟扫描算法

    缓冲区描述符显示为蓝色或青色框,框中的数字显示每个描述符的使用计数,每扫描一次则减一,缓冲区每被访问过一次则加一。


Ring Buffer

· Ring Buffer

· Bulk-reading

    需要大块的缓冲池时,如果扫描缓冲池时其大小超过(共享缓冲区/4)四分之一的空间时,还没有找到足够的缓冲池,则分配256KB环形缓冲区。

· Bulk-writing

    执行下面列出的SQL命令时。在这种情况下,环缓冲区大小为16MB。

        COPY FROM command.

        CREATE TABLE AS command.

        CREATE MATERIALIZED VIEW or REFRESH MATERIALIZED VIEW command.

        ALTER TABLE command.

· Vacuum-processing

    当自动真空机进行真空处理时。在这种情况下,环缓冲区大小为256 KB。


脏块写

· Flushing Dirty Pages

    检查点进程和后台写入进程将脏页刷新到存储区,检查点与后台写进程分离。

    检查点进程将检查点记录写入WAL段文件,并在检查点启动时刷新脏页。

    后台写进程的作用是减少检查点密集写的影响。后台写进程持续一点一点地刷新脏页,对数据库活动的影响{BANNED}最佳小。

    默认情况下,后台写入程序每200毫秒唤醒一次(由bgwriter_delay定义),并{BANNED}最佳多刷新为100页(由bgwriter_lru_maxpages 定义)


共享池缓冲区参数设置

· 共享缓冲区相关参数

    shared_buffers参数设置 show shared_buffers;

    Alter system set shared_buffers=256M;

    wal_buffers参数设置 show wal_buffers;

    Alter system set wal_buffers =4M;

    effective_cache_size 参数设置 show effective_cache_size;

    提供可用于磁盘高速缓存的内存量的估计值。它只是一个建议值,而不是确切分配的内存或缓存大小。它不会实际分配内存,而是会告知优化器内核中可用的缓存量。在一个索引的代价估计中,更高的数值会使得索引扫描更可能被使用,更低的数值会使得顺序扫描更可能被使用。在设置这个参数时,还应该考虑PostgreSQL的共享缓冲区以及将被用于PostgreSQL数据文件的内核磁盘缓冲区。默认值是4GB。




以上就是【PostgreSQL从小白到专家】第23讲 - 缓冲区管理  的内容,欢迎一起探讨交流钉钉交流群:35,82,24,60,往期视频及文档内容联系CUUG

阅读(211) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~