GreenPlum的那些事《五》——浅谈GPDB中的资源队列


资源队列介绍

当你安装好数据库的时候就会有一个默认的资源队列 pg_default,所有用户默认使用该队列。
GPDB建议你对不同类型的用户建立不同的资源队列,比如你有超级用户,WEB查询用户,报表用户还有个人用户等,你就需要根据用户使用场景和需求的不同,创建不同的资源队列进行分配。资源队列主要做了以下工作:

  • 查询数。对用户最大查询的并发数进行控制。
  • 内存。对用户查询需要的内存资源进行控制。
  • 优先级。对不同资源队列进行优先级区分。
  • 查询成本。对每个查询需要的查询成本进行控制,此处的查询成本是指执行计划中的costs。
    一个资源队列可以对应多个用户,但是一个用户只能有一个有效注册的资源队列。

资源队列如何起作用

在世纪执行过程中,如果一个SQL执行的所需要的资源没有超过资源队列,那么它会立刻执行。如果执行的SQL超过了资源队列限制的资源,比如超过了最大并发数,那么该次执行就会等待,等到资源释放后,才能执行。资源队列针对执行的SQL,采用FIFO原则,即先进先出。如果资源队列设置了优先级,那么多个资源队列之间就会优先执行优先级高的用户操作。
资源队列样例

拥有SUPERUSER 角色的用户总是优先执行,不受资源队列的限制。

内存限制如何起作用

内存限制是指用户在执行SQL时候使用的最大内存,GPDB的队列内存设置并不是每个SQL都能达到这个内存。比如一个队列设置最大内存为2000MB,最大回话数为10,那么默认每个SQL最大的执行内存为200MB。通过设置 statement_mem 可以调整这种情况,详细见 Creating Queues with Memory Limits

优先级如何起作用

在任务执行期间,相同优先级的任务会平分资源,比如查询1和查询2,是同一个优先级队列下的任务,那么他们评分CPU资源。这时候来了一个查询3,是低优先级的,那么查询1和查询2的总资源会减少,但是还是会平分资源的。大概的资源分布见下图(百分比并不代表世纪的使用百分比,知识示例)
CPU利用


本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!