【JNI】OPUS压缩与解压的JNI调用（.DLL版本）

理论上讲，这是我在博客园的第一篇原创的博客，之前也一直想找个地方写点东西，把最近做的一些东西归纳总结下，但是一般工程做完了一高兴就把东西丢一边就很久不碰了，久而久之就淡忘了。这不是一个很好的习惯，古人也说更好记性不如烂笔头，无论是做学术还是做工程，定期总结与归纳都是一个不错的巩固与提高的方法。另外，也希望给后来者一点可行性的参考（有误导的地方请轻喷）。

言归正传，最近在做Android的一个工程，大体是实现在Android平台的录音、压缩、传输、解压、识别的功能。其中，识别包括语音识别与音乐片段的识别，这是两个很大的模块，有其他的工程师负责。我负责录音、压缩、传输、解压等几个小模块。

其中录音功能是比较简单的，网上参考的范例比较多，以后找时间再整理下。压缩部分包括语音压缩（VAD+压缩）与旋律的压缩，因为用过Speex压缩，所以语音压缩模块就直接沿用了之前的范例，但是Speex只能对语音进行压缩，不能对旋律进行压缩（失真较大，影响片段的检索），所以考虑采用一种较新的压缩方式：Opus压缩。

Opus编码器 是一个有损声音编码的格式，由互联网工程任务组（IETF）进来开发，适用于网络上的实时声音传输，标准格式为RFC6716。Opus 格式是一个开放格式，使用上没有任何专利或限制。

Opus压缩几乎包含了Speex压缩的所有功能，并且支持对旋律的压缩，可以说功能是相当强大的，同Speex一样，Opus也是开源的，可以在官网上下载到Opus的源码。我下载的是最新的1.1版本的，解压后如下图所示：

但是除了官网外，Opus压缩的参考比较少，跨平台应用的就更少了点，做惯了伸手党的我对此相当郁闷，所以就花了点时间研究了下，实现了Android客户端（.so库）与windows服务器端（.dll库）的调用。

服务器端相对简单一点，基本思路是：利用VS2010创建生成相应的dll库，然后在服务器端利用NDK实现JNI接口，继而在主函数中实现调用。

Opus使用C语言实现的，并且官网上给了几个不错的DEMO，要实现java对C/C++跨平台的调用，首先我们要保证我们的C语言接口是正确的，也就是说，首先要在VS2010等平台上将调用的函数跑通，只有测试函数通过了，才能保证我们移植到JVM上的程序是正确的。之后要根据正确的测试函数书写C语言接口，然后将C语言写的接口编译生成相应的dll库。

打开Opus官网上给的工程，其中，测试了一下，test_opus_encode工程和test_opus_decode工程里面都有完整的压缩与解压实体。所以，我们只需要改写其中的一个工程的主函数OK了，主函数书写的基本思路为：压缩与解压对象的创建、参数的设置、压缩/解压、资源的释放，代码如下：

  1 #ifdef HAVE_CONFIG_H  2 #include "config.h"  3 #endif  4 #include <stdio.h>  5 #include <stdlib.h>  6 #include <limits.h>  7 #include <stdint.h>  8 #include <math.h>  9 #include <string.h> 10 #include <time.h> 11 #if (!defined WIN32 && !defined _WIN32) || defined(__MINGW32__) 12 #include <unistd.h> 13 #else 14 #include <PRocess.h> 15 #define getpid _getpid 16 #endif 17 #include "opus_multistream.h" 18 #include "opus.h" 19 #include "../src/opus_private.h" 20 //#include "test_opus_common.h" 21  22 /*#define MAX_PACKET (1500) 23 #define SAMPLES (48000*30) 24 #define SSAMPLES (SAMPLES/3) 25 #define MAX_FRAME_SAMP (5760)*/ 26  27 int error; 28 int Fs=16000; 29 int channels=1; 30 int application=OPUS_APPLICATION_AUDIO; 31 OpusEncoder *enc=NULL; 32  33 opus_int32 bitrate_bps=16000; 34 int bandwidth = OPUS_AUTO; 35 int use_vbr = 0; 36 int cvbr=1; 37 int complexity = 8; 38  39 int frame_size_1=320; 40 int frame_size_2=320; 41 opus_int32 max_data_bytes=2500; 42  43 unsigned char *data; 44 const opus_int16 *pcm; 45 opus_int16 *pcm_re; 46  OpusDecoder *dec=NULL; 47  unsigned char data_1[60][40]; 48  opus_int16 pcm_re_1[60][320]; 49  opus_int16 pcm_bf[60][320]; 50  51 #define PI (3.141592653589793238462643f) 52     int i; 53     int j; 54     int n; 55     int m; 56     int packet_loss_perc=0; 57  58     int max_frame_size = 2*16000; 59     int output_samples; 60     opus_uint32 dec_final_range; 61     int dur; 62  63     FILE *fp; 64     FILE *fp_1; 65     int num_pcm; 66     int num_pcm_re; 67     short temp_end[19200]; 68  69 int main(int _argc, char **_argv) 70 { 71     short temp[19200]; 72     FILE *foo; 73     printf("I am lzhen/n"); 74     //memset(temp,1,600); 75      76   77     if((fp=fopen("e://dkdt.pcm","rb"))==NULL) 78     { 79        printf("cant open the file"); 80     } 81      82 num_pcm=fread(&temp[0],sizeof(short),19200,fp);   83  84 printf("%d ",num_pcm); 85 //for(i=0;i<19200;i++) 86 //{ 87     //printf("%d ",temp[i]); 88 //} 89    fclose(fp);//将打开的文件关闭 90  91    for (i=0;i<60;i++) 92        for(j=0;j<320;j++) 93        { 94        pcm_bf[i][j]=temp[320*i+j]; 95        } 96  97  98     enc = opus_encoder_create(Fs, channels, application, &error); 99 100     if (error != OPUS_OK)101     {printf("创建失败");102     }else103     {printf("创建成功");104     }105 106     //for(pcm=number,i=0;i<2000;i++,pcm++)107     //{printf("%d  ",*pcm);}108 109        opus_encoder_ctl(enc, OPUS_SET_BITRATE(bitrate_bps));110        opus_encoder_ctl(enc, OPUS_SET_BANDWIDTH(bandwidth));111        opus_encoder_ctl(enc, OPUS_SET_VBR(use_vbr));112        opus_encoder_ctl(enc, OPUS_SET_VBR_CONSTRAINT(cvbr));113        opus_encoder_ctl(enc, OPUS_SET_COMPLEXITY(complexity));114        opus_encoder_ctl(enc, OPUS_SET_PACKET_LOSS_PERC(packet_loss_perc));115        /*opus_encoder_ctl(enc, OPUS_SET_INBAND_FEC(use_inbandfec));116        opus_encoder_ctl(enc, OPUS_SET_FORCE_CHANNELS(forcechannels));117        opus_encoder_ctl(enc, OPUS_SET_DTX(use_dtx));118        opus_encoder_ctl(enc, OPUS_SET_PACKET_LOSS_PERC(packet_loss_perc));119 120        opus_encoder_ctl(enc, OPUS_GET_LOOKAHEAD(&skip));121        opus_encoder_ctl(enc, OPUS_SET_LSB_DEPTH(16));122        opus_encoder_ctl(enc, OPUS_SET_EXPERT_FRAME_DURATION(variable_duration));*/123 124        for(i=0;i<60;i++)125        {126        pcm=pcm_bf[i]; 127        data=data_1[i];128 129     n=opus_encode(130          enc,131          pcm,132          frame_size_1,133          data,134          max_data_bytes);135        }//OPUS压缩136     opus_encoder_destroy(enc);//释放资源137     dec = opus_decoder_create(Fs, channels, &error);138     139     output_samples = max_frame_size;140     /*opus_decoder_ctl(dec, OPUS_GET_LAST_PACKET_DURATION(&output_samples));141     opus_decoder_ctl(dec, OPUS_GET_FINAL_RANGE(&dec_final_range));142     opus_decoder_ctl(dec, OPUS_GET_LAST_PACKET_DURATION(&dur));*/143 144     for(i=0;i<60;i++)145     {146     data=data_1[i];147     pcm_re=pcm_re_1[i];148     m=opus_decode(149          dec,150          data,151          n,152          pcm_re,153          frame_size_2,154          0);155     }156     opus_decoder_destroy(dec);157     printf("/n/n/n解压后的长度为：%d/n  ",m);158 159    for (i=0;i<60;i++)160        for(j=0;j<320;j++)161        {162        temp_end[320*i+j]=pcm_re_1[i][j];163        }164 165     if((fp_1=fopen("e://dkdt_re.pcm","wb"))==NULL)166     {167        printf("cant open the file");168     }169     num_pcm_re=fwrite(&temp_end[0],sizeof(short),19200,fp_1);  170 getchar();171 }

这里面我用一个dkdt.pcm的语音文件做范例，分帧进行压缩与解压，每一帧为320short，压缩后为40byte，压缩比为16，之后进行解压还原，生成相应的dkdt_out.pcm文件。这里给出我的测试结果，如下图所示：第一个是压缩前的音频信号，第二个是压缩解压后恢复的音频文件。

可以看到压缩前后还原后的波形几乎是一致的（听起来无差别），所以我们写的测试函数中压缩与解压是没有问题的。这一步很关键，是我们接下来的基础。

上一步OK了之后，就可以根据书写的测试函数书写JNI接口的C语言部分，这部分是比较简单的，稍微改下就OK了，JNI的书写规则，网上参考的东西比较详细，这里就不在赘述，直接给出代码如下：

  1 #ifdef HAVE_CONFIG_H  2 #include "config.h"  3 #endif  4 #include "StdAfx.h"  5 #include <stdio.h>  6 #include <stdlib.h>  7 #include <limits.h>  8 #include <stdint.h>  9 #include <math.h> 10 #include <string.h> 11 #include "jni.h" 12 #include <time.h> 13 #if (!defined WIN32 && !defined _WIN32) || defined(__MINGW32__) 14 #include <unistd.h> 15 #else 16 #include <process.h> 17 #define getpid _getpid 18 #endif 19 #include "opus_multistream.h" 20 #include "opus.h" 21 #include "../src/opus_private.h" 22  23 int opus_num; 24 int pcm_num; 25 short pcm_data_encoder[320]; 26 unsigned char opus_data_encoder[40]; 27 short pcm_data_decoder[320]; 28 unsigned char opus_data_decoder[40]; 29 OpusEncoder *enc=NULL; 30 OpusDecoder *dec=NULL; 31  32  33  34 JNIEXPORT int JNICALL Java_audioTest_OpusJni_test(JNIEnv *env, jobject thiz) 35 { 36   return 103;//测试函数 37 } 38  39 JNIEXPORT void JNICALL Java_audioTest_OpusJni_Init(JNIEnv *env, jobject thiz) 40 { 41   int error; 42   int Fs=16000; 43   int channels=1; 44   int application=OPUS_APPLICATION_AUDIO; 45    46   opus_int32 bitrate_bps=16000; 47   int bandwidth = OPUS_AUTO; 48   int use_vbr = 0; 49   int cvbr=1; 50   int complexity = 8; 51   int packet_loss_perc=0; 52    53   enc = opus_encoder_create(Fs, channels, application, &error); 54   dec = opus_decoder_create(Fs, channels, &error); 55  56    opus_encoder_ctl(enc, OPUS_SET_BITRATE(bitrate_bps)); 57    opus_encoder_ctl(enc, OPUS_SET_BANDWIDTH(bandwidth)); 58    opus_encoder_ctl(enc, OPUS_SET_VBR(use_vbr)); 59    opus_encoder_ctl(enc, OPUS_SET_VBR_CONSTRAINT(cvbr)); 60    opus_encoder_ctl(enc, OPUS_SET_COMPLEXITY(complexity)); 61    opus_encoder_ctl(enc, OPUS_SET_PACKET_LOSS_PERC(packet_loss_perc)); 62 } 63  64 JNIEXPORT jint JNICALL Java_audioTest_OpusJni_opusEncoder(JNIEnv *env, jobject thiz,jshortArray encoder_insrc,jbyteArray encoder_out) 65 { 66   int frame_size=320; 67   opus_int32 max_data_bytes=2500; 68   jshort* pcm_data_encoder=(*env)->GetShortArrayElements(env, encoder_insrc, 0); 69   jbyte* opus_data_encoder=(*env)->GetByteArrayElements(env, encoder_out, 0); 70  71   opus_num=opus_encode( 72          enc, 73          pcm_data_encoder, 74          frame_size, 75          opus_data_encoder, 76          max_data_bytes); 77  78   (*env)->ReleaseShortArrayElements(env, encoder_insrc, pcm_data_encoder, 0); 79   (*env)->ReleaseByteArrayElements(env, encoder_out, opus_data_encoder, 0); 80   if((*env)->ExceptionCheck(env)) 81      { 82         return - 1; 83      } 84   return opus_num; 85 } 86  87 JNIEXPORT jint JNICALL Java_audioTest_OpusJni_opusDecoder(JNIEnv *env, jobject thiz,jbyteArray decoder_insrc,jshortArray decoder_out) 88 { 89   int frame_size=320; 90   jshort* pcm_data_decoder=(*env)->GetShortArrayElements(env, decoder_out, 0); 91   jbyte* opus_data_decoder=(*env)->GetByteArrayElements(env, decoder_insrc, 0); 92   pcm_num=opus_decode( 93          dec, 94          opus_data_decoder, 95          40, 96          pcm_data_decoder, 97          frame_size, 98          0); 99          100   (*env)->ReleaseShortArrayElements(env, decoder_out, pcm_data_decoder, 0);101   (*env)->ReleaseByteArrayElements(env, decoder_insrc, opus_data_decoder, 0);102   if((*env)->ExceptionCheck(env))103      {104         return - 1;105      }106   return pcm_num;107 }108 109 JNIEXPORT void JNICALL Java_audioTest_OpusJni_Destroy(JNIEnv *env, jobject thiz)110 {111   opus_encoder_destroy(enc);112   opus_decoder_destroy(dec);113 }

这里面稍微说一下，一个师兄跟我说，写这种跨平台的东西总会遇到各种莫名奇妙的问题，但是一切的BUG都是有原因的，这里写一个JNIEXPORT int JNICALL Java_audioTest_OpusJni_test(JNIEnv *env, jobject thiz)这样的测试函数，就可以简单地判断我们的JNI时候调用成功，成功的话，其他的就是调用函数内部的问题了。这样可以很快的缩小BUG的范围。

写完JNI接口之后，就要将我们用到的所有依赖的文件（包括.c 、.h）一起打包编译为.dll文件。在VS2010中新建dll工程，dll工程里面有一个DEMO，我们这里用不到，可以讲里面的东西删了，将上一步写的接口文件拷贝其中，如下图所示：

和一般的C/C++工程一样，我们需要添加依赖的.C文件与.h文件，首先我们需要添加头文件，Opus依赖头文件分布的比较零散，不像speex全部在include文件里面，不过这里我们也只需要指定好路径，编译器会自动链接到相应的头文件，如下图所示：

此外，我们还要设置好依赖（调用）的.C文件，最直观的办法是将所有需要的.C文件都添加进工程，要不重不漏，重了会报重复定义的错误，漏了会报缺少定义的错误，编译Android的依赖库.so文件的时候，我的确是这么做的，这个过程需要一定时间的调试，要理清开源库中函数之间的关系，知道需要调用哪些函数。这里其实有个更加简单粗暴地办法，之前我们第一步编译测试工程的时候，会生成四个相应的.lib库，如下图所示：

只需要指定依赖的库文件的路径，如下图所示：

并将这四个库添加到依赖库中，如下图，编译器在编译的时候就可以直接连接到相应的函数实体。

这步成功之后，就可以在Release或者Debug文件夹中找到我们编译成功的opus.dll文件，157KB，沉甸甸的。接下来就就是Java部分对dll文件的调用了。

首先，我们需要书写Java端的JNI接口部分，这部分代码比较简单，直接给出。如下所示：

 1 package audioTest; 2 /** 3  * 压缩库 4  *  5  * @author lzhen 6  * 7  */ 8 public class OpusJni 9 {10     static11     {12         System.loadLibrary("opus");13     }14     public native int test();15     public native void Init(); // 压缩初始化16     public native int opusEncoder(short[] src, byte[] out); // 压缩数据，长度为320short->40byte17     public native int opusDecoder(byte[] src, short[] out);// 解压缩数据，长度为40byte->320short18     public native void Destroy(); // 释放内存19 }

剩下的就是简单的Java对象的调用了。这里，我们可以首先测试下test（）函数是否成功，如果成功的话，说明dll库至少是没问题的。

在之后.so库的调用的时候再具体总结一下Opus压缩与解压调用的详细过程，这里就不再赘述了。

Exception in thread "main" java.lang.UnsatisfiedLinkError: E:/jni/testopus/libs/opus.dll: Can't load IA 32-bit .dll on a AMD 64-bit platform

at java.lang.ClassLoader$NativeLibrary.load(Native Method)

at java.lang.ClassLoader.loadLibrary1(ClassLoader.java:1965)

at java.lang.ClassLoader.loadLibrary0(ClassLoader.java:1890)

at java.lang.ClassLoader.loadLibrary(ClassLoader.java:1880)

at java.lang.Runtime.loadLibrary0(Runtime.java:849)

at java.lang.System.loadLibrary(System.java:1088)

at audioTest.OpusJni.<clinit>(OpusJni.java:12)

at audioTest.Server.main(Server.java:22)

这里是因为Opus官网上给的程序是根据32bit系统给出的，如果采用64bit系统，在VS2010中设置为X64会报错，所以只能按照X86编译，但是如果JDK是64bit的话，在eclipse中就会报上面的错误。

解决的办法是：将64bit的JDK卸载掉，安装一个32bit的JDK就可以编译通过，但是有一个问题，JDK如果卸载重装的话，有可能会失败，原因是重装的时候，之前注册表没有完全删除的问题，可以用Windows Installer Clean Up将之前的注册表彻底删除。不过，我觉得最简单的办法是重新安装一个其他版本的JDK就OK了，方法是死的，人是活的，我喜欢简单粗暴又能解决问题的方法。

java.lang.UnsatisfiedLinkError: E:/jni/testopus/libs/opus.dll: Can't find dependent libraries。

DEBUG2：

意思是找不到依赖库，我们编译生成的opus.dll文件可以放在系统的DLL库中（C:/Windows/System32），当然，也可以直接放在工程中，这样都是可以load到的，所以Can't find dependent libraries不是说找不到我们编译生成的DLL文件，而是我们编译生成的DLL文件也需要一些依赖库，这里面有两种情况：

一种是，我们在一台主机上编译生成的，拿到另外一台主机上面跑，可能两台主机配置或者是其他种种不同，系统DLL库会有所差异，可以用DLL依赖查看工具这个软件查找缺失的依赖库，如下图所示：

黄色标记表示缺失的DLL，我这里是因为，换了一台没有安装VS2010的主机上测试导致的，解决办法很简单，可以在网上下载缺失的DLL放到C:/Windows/System32中，或者，直接在编译的那台PC上拷贝，都是可以的。

第二种情况比较复杂一点，就是，我们在编译的时候，没有添加最原始的.lib库，这在不同的工程中会有所不同，一般用DLL依赖查看工具检察缺失的为.exe文件就是这种情况，那就要回头检察，我们在编译之前添加的.lib文件是不是有问题了。

## A fatal error has been detected by the Java Runtime Environment:## EXCEPTION_access_VIOLATION (0xc0000005) at pc=0x15c21781, pid=5264, tid=14016## JRE version: Java(TM) SE Runtime Environment (8.0_11-b12) (build 1.8.0_11-b12)# Java VM: Java HotSpot(TM) Client VM (25.11-b03 mixed mode, sharing windows-x86 )# Problematic frame:# C [test_opus_decode.exe+0x51781]## Failed to write core dump. Minidumps are not enabled by default on client versions of Windows## An error report file with more information is saved as:# C:/Users/test/Desktop/Music0808_sever/hs_err_pid5264.log## If you would like to submit a bug report, please visit:# http://bugreport.sun.com/bugreport/crash.jsp# The crash happened outside the Java Virtual Machine in native code.# See problematic frame for where to report the bug.#

这个bug在很多游戏里面会出现，在JNI的跨平台调用中，出现类似情况，其实也是容易判断的，首先，我们要看一下，我们在Java端查看test（）函数是否运行成功，如果成功过了，那么说明DLL库的编译是没有问题的，那么接下来，就可以通过单步调试，查找具体在哪一个调用函数出现问题了，同时，在C语言端要通过注释等方式联合调试，最终确定具体是哪一个函数的哪一句出现了问题，目前，我还没有发现在DLL内部单步调试的方法，所以只能用这种方法尝试，不过效果还是很明显的，我的问题是初始化函数出现了一点问题。

另外，现在eclipse已经支持直接的NDK编译了，所以在Android平台上，好像是可以对.so库进行单步调试的，这个以后再说。

写到这里，本章差不多结束了，有机会希望能够跟大家一起沟通交流，相互促进，相互提高，我的微博地址：http://weibo.com/3109428257/profile?rightmod=1&wvr=5&mod=personinfo。最后，跟大家分享一句OPUS官网上对开源的解释，我觉得很赞！

——Imagine a road system where each type of car could only drive on its own manufacturer's pavement. We all benefit from living in a world where all the roads are connected. This is why Opus, unlike many codecs, is free.

Reference：

https://wiki.xiph.org/Main_Page

http://int.zhubajie.com/case-studies/3307420?utm_source=TiaoZhuan_RenWuYe&utm_medium=RenWuYe_3307420&utm_campaign=TiaoZhuan