租户内存写满

租户内存（memstore）写满多数情况下是由突发的批量导入操作导致的，应急的操作主要以开启写入限速以及调整转储阈值等手段。

应急处理流程

租户内存写满一般表现为写入失败，报错 No memory or reach tenant memory limit（错误码 4013） 或者 Over tenant memory limits（错误码 4030）。应急策略的优先级选择一般从高到低分别为：

1. 增加租户内存配置。建议直接在 OCP 上执行租户内存扩容操作，详情请参见 《OCP 使用指南》。通过命令行增加租户内存配置的操作如下：

   1. 使用 root 用户登录到数据库的 sys 租户。

   2. 执行以下 SQL 语句，确认当前租户使用的 unit_config。

      注意

      多个副本可能使用了不同的 resource_pool，您需要分别做出调整。

      SELECT a.tenant_name,a.tenant_id,b.name unit_config,c.name pool_name,b.max_cpu,b.min_cpu,
      round((b.max_memory/1024/1024/1024)) max_memory,round((b.min_memory/1024/1024/1024)) min_memory
      FROM
      __all_tenant a,
      __all_unit_config b,
      __all_resource_pool c
      WHERE a.tenant_id=c.tenant_id
      AND b.unit_config_id = c.unit_config_id
      ORDER BY a.tenant_id desc;
      

   3. 执行修改 Unit 的 SQL 语句。

      注意

      截止 OceanBase 数据库 V3.2.x 版本，修改 resource unit 配置仅 CPU、Memory 配置是实际生效的，其他 IO 参数例如磁盘、iops 等都暂时无效，默认即可。

      ALTER RESOURCE UNIT unit_config_name min_cpu=2,max_cpu=2, max_memory='4G',min_memory='4G', max_disk_size='500G',max_iops=10000,min_iops=10000,max_session_num=10000;
      

2. 调高转储线程数，加快转储，让内存尽快释放。

   转储前数据会大量占据内存，快速转储结束能释放被占用的内存，minor_merge_concurrency 是控制并行转储线程数，您可以通过调高该参数值来达到快速释放内存的目的。该参数默认值为 0 ，表示系统会使用 OceanBase 数据库内核定义的使用 10 个线程作为通用转储工作线程数，修改该参数无需重启 OBServer 即刻生效。

   注意

   该参数调大的代价为 CPU 使用率升高，请根据具体情况决定是否开启。

   具体方法如下：使用 root 用户登录到数据库的 sys 租户。

   ALTER SYSTEM SET minor_merge_concurrency=x;
   

   修改成功后，可以通过 SHOW PARAMETERS 语句查看是否修改成功。

   SHOW PARAMETERS LIKE 'minor_merge_concurrency';
   

   您还可以在 OCP 界面通过修改转储策略调高转储线程数，具体参见 修改转储配置。

3. 当集群已经无法扩容租户总内存时，可调高租户 memstore 的比例，临时扩大可写入内存，并且调低转储阈值，让转储更快发生。

   OceanBase中一个租户的 MemTable 内存的使用量达到配置项 freeze_trigger_percentage 所限制使用的百分比时，就会自动触发转储，转储后会释放占用的内存。该参数默认值为 70 ，表示当 memstore 使用率超过70%，就会触发转储。

   另一个相关的参数是 memstore_limit_percentage，也就是租户内存中可用于 memstore 写入的比例，默认为 50%，意为租户使用 memstore 的内存占其总可用内存50%。例如一个内存配置为 10GB 的租户，memstore 可写入部分为 5G。该参数的取值范围为[1, 99]，修改该参数无需重启 OBServer 即刻生效。

   在应急场景下，可以调大 memstore_limit_percentage 的同时，调低freeze_trigger_percentage，达到临时扩容和尽快转储释放的目的。

   具体方法如下：使用 root 用户登录到数据库的 sys 租户。

   ALTER SYSTEM SET freeze_trigger_percentage=40;
   ALTER SYSTEM SET memstore_limit_percentage=70;
   

4. 开启写入限速，内存写入达到一定阈值 OB 会主动限制客户端导入速度。

   writing_throttling_trigger_percentage 是租户级参数，该参数是调整写入速度的阈值，当 memstore 已使用的内存达到该阈值时，触发写入限速。该参数的默认值是 100，表示关闭写入限速机制。该参数的取值范围为 [0, 100]，修改该参数无需重启 OBServer 即刻生效。另一个参数 writing_throttling_maximum_duration 表示触发限速后，剩余内存最多支持多长时间的写入时间，默认为1小时，该项一般不做修改。

   ALTER SYSTEM SET writing_throttling_trigger_percentage = 80;
   ALTER SYSTEM SET writing_throttling_maximum_duration = '1h';
   

5. 应用侧降级批处理任务。

   当用户内存写满时，您可以考虑在应用侧降级对应租户的批处理任务。