外表常见问题排查指南

背景信息

在 OBServer 引入了 JNI 框架作为当前对接外部数据湖的框架桥梁后，不免会遇到诸多环境初始化相关问题。

问题 1：创建 HDFS/ODPS JNI 外部表提示报错

错误 1: ERROR 11056 : JNI env could not be found

原因

可能存在以下原因导致 JNI Env 环境初始化失败：

1. ob_java_home 设置错误，导致无法正常加载 libjvm.so 动态库。该动态库是环境初始化启动 JVM 的重要动态库。

2. ob_java_opts 设置错误。当前由于 CPP 框架与 JNI 框架对接存在一定限制，为避免诸多使用设定问题，必须强制设置相关属性参数用于启动 JVM 进程。参数设置请参见 ob_java_opts。

3. JNI Env 环境依赖的 libhdfs.so 库文件（OceanBase 数据库与 JVM 的通信桥梁）放置路径与 _ob_additional_lib_path 不匹配，需设置准确。

解决方法

1. 手动确认当前 java home 设置是否存在，重点校验当前用户是否具备该路径的访问权限。可能存在 java home 已存在，但 OBServer 启动用户无该路径访问权限的情况。

2. 对照 ob_java_opts，检查 ob_java_opts 是否遗漏部分必须配置的项。

3. 检查 _ob_additional_lib_path 设置路径是否存在，以及 OBServer 启动用户是否具备该路径的访问权限。

错误 2: ERROR 11032: HDFS: path not found

原因

出现 HDFS: path not found 报错，通常见于以下场景：

1. 开启 Kerberos 认证的 HDFS 环境中，访问某 HDFS 外部表时，若权限不足导致无法访问，会出现 -11032 错误。

2. 若 Kerberos 认证配置正确，但仍出现 HDFS: path not found，可能是创建外部表语句中指定的外部表路径错误，指向了不存在的路径。

3. 外部表访问初期正常，但执行查询一段时间后出现 11032 报错，可能是 HDFS 对应外部表路径下的某个文件出现坏块，即 HDFS DataNode 报告该数据块出错、无法访问，进而触发报错。

解决方法

1. 确认 Kerberos 认证的 keytab、principal 有效且对应用户拥有 HDFS 集群的访问权限，重新配置外部表权限并设置 Kerberos 认证即可。

2. 确认对应的 HDFS 路径正确且存在，重新建立外部表的 HDFS 路径映射。

3. 反馈至客户运维团队，确认数据坏块情况后，可选择调整坏块或更换环境继续验证。

错误 3: ERROR 4016: Internal Error

原因

可能存在以下原因导致出现 Internal Error：

1. 执行外部表查询时出现 Internal Error，可能是外部表实际设置类型与预期不符，例如将 String 类型列映射为 Int 类型，导致部分字段数据转换失败。
2. 其他非预期的程序执行路径触发了 Internal Error。

解决方法

1. 检查外部表创建语句及对应外部表数据文件的元数据类型映射是否正确。

2. 检查相关日志，抓取错误日志堆栈，查看并确认错误触发的具体细节。