部署 OceanBase 集中式数据库 JAVA SDK 环境

OceanBase 集中式数据库现已支持对接 JAVA SDK 对接文件系统，作为外表的第三方数据源。该功能实现使用了 JNI 框架，所以对应的 OceanBase 集中式数据库环境需要部署 JAVA SDK 环境。

环境准备

su - admin

部署配置 JAVA 环境

1. 通过 下载地址 下载 OpenJDK JAVA 安装包。

   注意

   请使用 OpenJDK 8 最新版本。

   本文以下载 OpenJDK 8u422-b05 版本为例，具体操作步骤如下：

   [root@xxx /home/admin/rpm]# wget https://builds.openlogic.com/downloadJDK/openlogic-openjdk/8u422-b05/openlogic-openjdk-8u422-b05-linux-x64.tar.gz
   

2. 通过正常解压缩对应的安装包即可。

   示例如下：

   [root@xxx /home/admin/rpm]# tar -zxvf openlogic-openjdk-8u422-b05-linux-x64.tar.gz
   

   [root@xxx /home/admin/rpm]# ls openlogic-openjdk-8u422-b05-linux-x64
   ASSEMBLY_EXCEPTION  LICENSE  THIRD_PARTY_README  bin  demo  include  jre  lib  man  release  sample  src.zip
   

   安装路径如下：

   /home/admin/rpm/openlogic-openjdk-8u422-b05-linux-x64
   

   注意

   该路径用于配置当前 OBServer 运行节点上的 java home 目录，即对应配置项 ob_java_home 的取值。

安装依赖

OceanBase 集中式数据库使用 HDFS/ODPS 外表功能还需依赖以下组件：

• devdeps-hdfs-sdk RPM 包：

  该包包含 HDFS/ODPS 等外表运行时所需的动态链接库文件，提供 JVM 环境与 JNI（Java Native Interface）交互的核心接口。该组件作为 Java 虚拟机与本地外表 JAVA SDK 的通信桥梁，确保外表功能的稳定运行。

• devdeps-java-extensions RPM 包：

  该包整合了 HDFS 外表及其他外部数据源（如 ODPS）所需的核心依赖库（JAR 文件）。该扩展包包含完整的 Java 运行时依赖链，确保外表功能在分布式场景下的兼容性与性能优化。

部署配置依赖的 HDFS.so 动态库

1. 获取 devdeps-hdfs-sdk RPM 安装包。

   请联系技术支持获取 devdeps-hdfs-sdk RPM 安装包。

2. 获取安装包后，根据如下命令进行安装。

   sudo rpm -Uvh devdeps-hdfs-sdk-3.3.6-xxxxx.xxx.xxx.rpm
   

   示例如下：

   sudo rpm -Uvh devdeps-hdfs-sdk-3.3.6-112024123116.el7.x86_64.rpm
   

3. 检查对应安装是否符合预期。

   需要有 libhdfs.so 和 libhdfs.so.0.0.0 文件，且对应的软链接正常。

   示例如下：

   $ll /usr/local/oceanbase/deps/devel/lib
   total 376
   lrwxrwxrwx 1 root root     16 Dec 24 19:49 libhdfs.so -> libhdfs.so.0.0.0
   -rwxr-xr-x 1 root root 384632 Dec 24 19:09 libhdfs.so.0.0.0
   

部署配置依赖的 jar 包路径

1. 获取 devdeps-java-extensions RPM 安装包。

   请联系技术支持获取 devdeps-java-extensions RPM 安装包。

   注意

   请下载 1.0.1 版本 devdeps-java-extensions RPM 安装包。

2. 获取安装包后，根据如下命令进行安装。

   sudo rpm -Uvh devdeps-java-extensions-x.x.x-xxxxxxxxxxxx.xxx.xxxxxx.rpm
   

   示例如下：

   sudo rpm -Uvh devdeps-java-extensions-1.0.0-122025032514.el7.x86_64.rpm
   

3. 检查对应安装是否符合预期。

   查看安装路径 /home/admin/oceanbase/jni_packages/v1.0.0 下 oceanbase-odps-connector-jar-with-dependencies.jar 文件是否存在。

   示例如下：

   $ll /home/admin/oceanbase/jni_packages/v1.0.0
   total 52756
   drwxr-sr-x 4 root root     4096 Dec 24 20:25 hadoop
   drwxr-xr-x 3 root root     4096 Dec 24 20:25 lib
   -rw-r--r-- 1 root root 54008720 Dec 24 19:52 oceanbase-odps-connector-jar-with-dependencies.jar
   

   注意

   该路径用于配置 OBServer 启动的 jvm 可加载的可执行依赖 jar 包路径，即对应配置项 ob_java_connector_path 的取值。

（可选）重启 observer 进程

在使用 HDFS/ODPS 外表功能的时候，需要进行对应 OBServer 服务器的设置，设置步骤参考如下。

步骤一：设置 JAVA 环境启动的相关配置项

1. 开启 java env，用于外表的 sdk（java sdk）访问。

   示例如下：

   ALTER SYSTEM SET ob_enable_java_env = true;
   

   该设置的详细介绍信息，参见 ob_enable_java_env。

2. 设置当前 OBServer 运行节点上的 java home 目录。

   说明

   该路径来自于 OpenJDK JAVA 安装路径。

   示例如下：

   ALTER SYSTEM SET ob_java_home = "/home/admin/rpm/openlogic-openjdk-8u422-b05-linux-x64";
   

   该设置的详细介绍信息，参见 ob_java_home。

3. 设置 OBServer 启动的 jvm 可加载的可执行依赖 jar 包路径。

   说明

   该路径来自于 jar 包 RPM 安装路径。

   示例如下：

   ALTER SYSTEM SET ob_java_connector_path = "/home/admin/oceanbase/jni_packages/v1.0.0";
   

   该设置的详细介绍信息，参见 ob_java_connector_path。

4. 设置 java 环境启动的相关配置项

   1. 创建对应的日志文件夹路径。

      mkdir -p /home/user/jvmlogs
      mkdir -p /home/user/jvmlogs/heapdumps
      

   2. 设置 java 运行的 jvm 启动配置项。

      示例如下：

      ALTER SYSTEM SET ob_java_opts="-Xmx2048m -Xms2048m -XX:-CriticalJNINatives -Djdk.lang.processReaperUseDefaultStackSize=true -Xrs -XX:+HeapDumpOnOutOfMemoryError -Xloggc:/home/admin/gc.log -XX:+PrintGCDetails -XX:+PrintGCDateStamps -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/admin/heapdumps/ -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:CMSInitiatingOccupancyFraction=75 -XX:+UseCMSInitiatingOccupancyOnly -XX:+CMSClassUnloadingEnabled -XX:+TieredCompilation -XX:+ExplicitGCInvokesConcurrentAndUnloadsClasses ";
      

      该设置的详细介绍信息，参见 ob_java_opts。

      注意

      • 该配置项变更需要重启 observer 进程，由于当前的 HDFS 对接使用的内存拷贝为 HDFS 数据流直接拷贝到 cpp 内存堆上，可以适当减少 -Xmx2048m -Xms2048m 的设置。
      • gc 日志文件仅在配置文件夹路径存在时生成；若路径不存在，则不会生成。

5. （可选）设置 ODPS 使用 JAVA SDK 配置项。

   注意

   HDFS JAVA SDK 不需要设置该配置项，其他配置项完全一样。

   如需使用 JAVA SDK，需要设置 _use_odps_jni_connector 为 true。

   ALTER SYSTEM SET _use_odps_jni_connector = true;
   

$ vim ~/.bashrc
export LD_LIBRARY_PATH=/home/admin/rpm/openlogic-openjdk-8u422-b05-linux-x64/jre/lib/amd64/server:/usr/local/oceanbase/deps/devel/lib

$ source ~/.bashrc