部署 OceanBase 数据库 JAVA SDK 环境

OceanBase 数据库现已支持对接 JAVA SDK 对接文件系统，作为外表的第三方数据源。该功能实现使用了 JNI 框架，所以对应的 OceanBase 数据库环境需要部署 JAVA SDK 环境。

环境准备

部署配置 JAVA 环境

1. 通过 下载地址 下载 OpenJDK JAVA 安装包。

   注意

   请使用 OpenJDK 8 最新版本。

   本文以下载 OpenJDK 8u422-b05 版本为例，具体操作步骤如下：

   [root@xxx /home/admin/rpm]# wget https://builds.openlogic.com/downloadJDK/openlogic-openjdk/8u422-b05/openlogic-openjdk-8u422-b05-linux-x64.tar.gz
   

2. 通过正常解压缩对应的安装包即可。

   示例如下：

   [root@xxx /home/admin/rpm]# tar -zxvf openlogic-openjdk-8u422-b05-linux-x64.tar.gz
   

   [root@xxx /home/admin/rpm]# ls openlogic-openjdk-8u422-b05-linux-x64
   ASSEMBLY_EXCEPTION  LICENSE  THIRD_PARTY_README  bin  demo  include  jre  lib  man  release  sample  src.zip
   

   安装路径如下：

   /home/admin/rpm/openlogic-openjdk-8u422-b05-linux-x64
   

   注意

   该路径用于配置当前 OBServer 运行节点上的 java home 目录，即对应配置项 ob_java_home 的取值。

安装依赖

OceanBase 数据库使用 HDFS/ODPS 外表功能还需依赖以下组件：

• devdeps-hdfs-sdk RPM 包：

  该包包含 HDFS/ODPS 等外表运行时所需的动态链接库文件，提供 JVM 环境与 JNI（Java Native Interface）交互的核心接口。该组件作为 Java 虚拟机与本地外表 JAVA SDK 的通信桥梁，确保外表功能的稳定运行。

• devdeps-java-extensions RPM 包：

  该包整合了 HDFS 外表及其他外部数据源（如 ODPS）所需的核心依赖库（JAR 文件）。该扩展包包含完整的 Java 运行时依赖链，确保外表功能在分布式场景下的兼容性与性能优化。

部署配置依赖的 HDFS.so 动态库

1. 获取 devdeps-hdfs-sdk RPM 安装包。

   请联系技术支持获取 devdeps-hdfs-sdk RPM 安装包。

2. 获取安装包后，根据如下命令进行安装。

   sudo rpm -Uvh devdeps-hdfs-sdk-3.3.6-xxxxx.xxx.xxx.rpm
   

   示例如下：

   sudo rpm -Uvh devdeps-hdfs-sdk-3.3.6-112024123116.el7.x86_64.rpm
   

3. 检查对应安装是否符合预期。

   需要有 libhdfs.so 和 libhdfs.so.0.0.0 文件，且对应的软链接正常。

   示例如下：

   $ll /usr/local/oceanbase/deps/devel/lib
   total 376
   lrwxrwxrwx 1 root root     16 Dec 24 19:49 libhdfs.so -> libhdfs.so.0.0.0
   -rwxr-xr-x 1 root root 384632 Dec 24 19:09 libhdfs.so.0.0.0
   

部署配置依赖的 jar 包路径

1. 获取 devdeps-java-extensions RPM 安装包。

   请联系技术支持获取 devdeps-java-extensions RPM 安装包。

   注意

   请下载 1.0.1 版本 devdeps-java-extensions RPM 安装包。

2. 获取安装包后，根据如下命令进行安装。

   sudo rpm -Uvh devdeps-java-extensions-x.x.x-xxxxxxxxxxxx.xxx.xxxxxx.rpm
   

   示例如下：

   sudo rpm -Uvh devdeps-java-extensions-1.0.0-122025032514.el7.x86_64.rpm
   

3. 检查对应安装是否符合预期。

   查看安装路径 /home/admin/oceanbase/jni_packages/v1.0.0 下 oceanbase-odps-connector-jar-with-dependencies.jar 文件是否存在。

   示例如下：

   $ll /home/admin/oceanbase/jni_packages/v1.0.0
   total 52756
   drwxr-sr-x 4 root root     4096 Dec 24 20:25 hadoop
   drwxr-xr-x 3 root root     4096 Dec 24 20:25 lib
   -rw-r--r-- 1 root root 54008720 Dec 24 19:52 oceanbase-odps-connector-jar-with-dependencies.jar
   

   注意

   该路径用于配置 OBServer 启动的 jvm 可加载的可执行依赖 jar 包路径，即对应配置项 ob_java_connector_path 的取值。

（可选）重启 observer 进程

在使用 HDFS/ODPS 外表功能的时候，需要进行对应 OBServer 服务器的设置，设置步骤参考如下。

步骤一：设置 JAVA 环境启动的相关配置项

1. 开启 java env，用于外表的 sdk（java sdk）访问。

   示例如下：

   ALTER SYSTEM SET ob_enable_java_env = true;
   

   该设置的详细介绍信息，参见 ob_enable_java_env。

2. 设置当前 OBServer 运行节点上的 java home 目录。

   说明

   该路径来自于 OpenJDK JAVA 安装路径。

   示例如下：

   ALTER SYSTEM SET ob_java_home = "/home/admin/rpm/openlogic-openjdk-8u422-b05-linux-x64";
   

   该设置的详细介绍信息，参见 ob_java_home。

3. 设置 OBServer 启动的 jvm 可加载的可执行依赖 jar 包路径。

   说明

   该路径来自于 jar 包 RPM 安装路径。

   示例如下：

   ALTER SYSTEM SET ob_java_connector_path = "/home/admin/oceanbase/jni_packages/v1.0.0";
   

   该设置的详细介绍信息，参见 ob_java_connector_path。

4. 设置 java 环境启动的相关配置项

   1. 创建对应的日志文件夹路径。

      mkdir -p /home/user/jvmlogs
      mkdir -p /home/user/jvmlogs/heapdumps
      

   2. 设置 java 运行的 jvm 启动配置项。

      示例如下：

      ALTER SYSTEM SET ob_java_opts="-Xmx2048m -Xms2048m -XX:-CriticalJNINatives -Djdk.lang.processReaperUseDefaultStackSize=true -Xrs -XX:+HeapDumpOnOutOfMemoryError -Xloggc:/home/admin/gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/admin/heapdumps/ -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+CMSClassUnloadingEnabled -XX:+TieredCompilation -XX:+ExplicitGCInvokesConcurrentAndUnloadsClasses ";
      

      该设置的详细介绍信息，参见 ob_java_opts。

      注意

      • 该配置项变更需要重启 observer 进程，由于当前的 HDFS 对接使用的内存拷贝为 HDFS 数据流直接拷贝到 cpp 内存堆上，可以适当减少 -Xmx2048m -Xms2048m 的设置。
      • gc 日志文件仅在配置文件夹路径存在时生成；若路径不存在，则不会生成。

5. （可选）设置 ODPS 使用 JAVA SDK 配置项。

   注意

   HDFS JAVA SDK 不需要设置该配置项，其他配置项完全一样。

   如需使用 JAVA SDK，需要设置 _use_odps_jni_connector 为 true。

   ALTER SYSTEM SET _use_odps_jni_connector = true;
   

$ vim ~/.bashrc
export LD_LIBRARY_PATH=/home/admin/rpm/openlogic-openjdk-8u422-b05-linux-x64/jre/lib/amd64/server:/usr/local/oceanbase/deps/devel/lib

$ source ~/.bashrc