Android-OpenGLES3绘图---音频可视化（模仿MIUI系统效果）

2022-07-15 15:38:13 阅读：194 来源： 互联网

标签：--- vertexBuffer Visualizer int vbo MIUI lineNum OpenGLES3 GL

小米手机播放音乐时锁屏页面可以设置音频可视化效果，这是用OpenGL绘制出来的，我们来实现一下。

首先简单分析一下原理：
图形的每一行代表一个声音片段，它就是一个一维数组，按照数值大小绘制不同的高度，就形成了一条“山脉”；获取到下一个声音片段后，将它绘制到下面一行，然后画面整体向上滚动就可以了。整体类似于绘制一张游戏里常见的3D地形图。

1 初始化MediaPlayer

创建一个MediaPlayer，它可以直接读取res/raw里面的音频文件，start()开始播放

    private MediaPlayer mMediaPlayer;

    @Override
    protected void onCreate(Bundle savedInstanceState) {

        setVolumeControlStream(AudioManager.STREAM_MUSIC);

        // Create the MediaPlayer
        mMediaPlayer = MediaPlayer.create(this, R.raw.jay);

//        setupVisualizerFxAndUI();
//        // Make sure the visualizer is enabled only when you actually want to receive data, and
//        // when it makes sense to receive data.
//        mVisualizer.setEnabled(true);

        // When the stream ends, we don't need to collect any more data. We don't do this in
        // setupVisualizerFxAndUI because we likely want to have more, non-Visualizer related code
        // in this callback.
        mMediaPlayer.setOnCompletionListener(new MediaPlayer.OnCompletionListener() {
            public void onCompletion(MediaPlayer mediaPlayer) {
                mVisualizer.setEnabled(false);
            }
        });

        mMediaPlayer.start();

2 初始化Visualizer

Visualizer是Android SDK里面提供的音频分析工具，它可以直接获取播放的音频的波形和频谱。onWaveFormDataCapture回调方法里返回的是原始的PCM波形数组，onFftDataCapture回调方法里返回的是经过快速傅里叶方法转换后的声音频谱数组，数组的第一位是直流分量，后面是不同频率的数值。

每次获取到的是一组声音数据，将它传给Render绘制。

    private void setupVisualizerFxAndUI() {
        // Create the Visualizer object and attach it to our media player.
        mVisualizer = new Visualizer(mMediaPlayer.getAudioSessionId());
//        mVisualizer.setCaptureSize(Visualizer.getCaptureSizeRange()[1]);
        mVisualizer.setCaptureSize(Visualizer.getCaptureSizeRange()[0]);
        mVisualizer.setDataCaptureListener(new Visualizer.OnDataCaptureListener() {
            public void onWaveFormDataCapture(Visualizer visualizer, byte[] bytes,
                                              int samplingRate) {
                AudioRender render = (AudioRender) GLAudioActivity.this.render;
                render.update(bytes);
                glSurfaceView.requestRender();
            }

            public void onFftDataCapture(Visualizer visualizer, byte[] bytes, int samplingRate) {
//                AudioRender render = (AudioRender) GLAudioActivity.this.render;
//                render.update(bytes);
//                glSurfaceView.requestRender();
            }
        }, Visualizer.getMaxCaptureRate() / 2, true, true);
    }

3 Shader实现

3.1 绘制地形图

首先确定图形的长宽，宽度w其实是由每组音频的数组长度决定，可以由Visualizer.getCaptureSizeRange()[0]获取，这里获取的是最小的数组，也可以用Visualizer.getCaptureSizeRange()[1]获取最大的数组；长度h可以自己设置想展示多长。

绘制地形图也就是绘制w * h * 2个三角形，创建vao、vbo和ebo，由于顶点的位置都是固定的，可以在顶点着色器中用gl_VertexID获取，所以vbo里面不用传顶点数据，直接传声音数组。

    public static int w = 128, h = 128;

    int[] indices;

    int program;
    ByteBuffer vertexBuffer;
    byte[] lineBytes = new byte[w];
    int lineNum = 0;

    int[] vao;
    int[] vbo;

    IntBuffer intBuffer;

    @Override
    public void onSurfaceCreated(GL10 gl, EGLConfig config) {

        program = ShaderUtils.loadProgramAudio();

        //分配内存空间,每个浮点型占4字节空间
        vertexBuffer = ByteBuffer.allocateDirect(w * h)
                .order(ByteOrder.LITTLE_ENDIAN);
        vertexBuffer.position(0);

//        updateBuffer();
        vertexBuffer.position(0);

        vao = new int[1];
        glGenVertexArrays(1, vao, 0);
        glBindVertexArray(vao[0]);

        vbo = new int[1];
        glGenBuffers(1, vbo, 0);
        glBindBuffer(GL_ARRAY_BUFFER, vbo[0]);
        glBufferData(GL_ARRAY_BUFFER, w * h, vertexBuffer, GL_STATIC_DRAW);

        indices = strip(w, h);

        intBuffer = IntBuffer.allocate(indices.length * 4);
        intBuffer.put(indices);
        intBuffer.position(0);

        int[] ebo = new int[1];
        glGenBuffers(1, ebo, 0);
        glBindBuffer(GL_ELEMENT_ARRAY_BUFFER, ebo[0]);
        glBufferData(GL_ELEMENT_ARRAY_BUFFER, indices.length * 4, intBuffer, GL_STATIC_DRAW);


        // Load the vertex data
        glVertexAttribPointer(0, 1, GL_FLOAT, false, 1, 0);
        glEnableVertexAttribArray(0);

        glBindBuffer(GL_ARRAY_BUFFER, 0);
        glBindVertexArray(0);

        glClearColor(0.5f, 0.5f, 0.5f, 0.5f);

        glEnable(GL_DEPTH_TEST);
//        glCullFace(GL_BACK);
//        glEnable(GL_CULL_FACE);
    }

3.2 声音队列刷新

由于图形是不断刷新最后一行并向上滚动的，那么需要使用一个队列，为了每一帧数据改变最小，不至于进行大量的数组复制和移动。我们用ByteBuffer vertexBuffer模拟一个循环队列，使用一个行号int lineNum来标记队列的头部。每添加一行数据后，lineNum会加上w，这样ByteBuffer分成了两部分：lineNum * w之后的是新旧数据，之前的是旧数据。

现在我们需要将数据从主内存（vertexBuffer）复制到GPU显存（vbo）。vertexBuffer里是一个循环队列，而vbo里面只能顺序保存（因为ebo序号是顺序的，vbo不是顺序图形就会错乱），更新vbo数据缓存的glBufferSubData方法支持设置偏移位置部分更新。那么我们先将vertexBuffer定位到lineNum * w，将它后面的旧数据复制到vbo的前面；然后将vertexBuffer定位到0，将剩下的新数据复制到vbo的后面。这样就保证了绘制时从上到下，从旧到新。

    public void update(byte[] bytes) {
        vertexBuffer.position(lineNum * w);
        vertexBuffer.put(bytes);
        lineNum = (lineNum + 1) % h;
    }

    @Override
    public void onDrawFrame(GL10 gl) {
        super.onDrawFrame(gl);
        // Clear the color buffer
        glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);

        // 刷新vbo数据
        glBindBuffer(GL_ARRAY_BUFFER, vbo[0]);
        vertexBuffer.position(lineNum * w);
        glBufferSubData(GL_ARRAY_BUFFER, 0, (h - lineNum) * w, vertexBuffer);
        vertexBuffer.position(0);
        glBufferSubData(GL_ARRAY_BUFFER, (h - lineNum) * w, lineNum * w, vertexBuffer);
        glBindBuffer(GL_ARRAY_BUFFER, 0);
    }

3.3 着色器处理音频数值

为了让颜色更丰富，这里用了地形图中常用的热度渐变色数组。
理论上音频数值是unsigned byte格式的，但是着色器不支持byte格式，我直接用int vPosition接收数据，然而数值范围不再是0~255了，这有点奇怪，我没有深入研究。简单测试了一下，发现取int的前8位，再进行一点比例缩放，用它去渐变色数组里取颜色，会取得较好的显示效果。

顶点着色器
shader_audio_v.glsl

#version 300 es
// 热度渐变色 64
const int[] colors = int[](-16777216,-16318464,-15859712,-15400960,-14876672,-14417920,-13959168,-13500416,-12976128,-12517376,-12058624,-11599872,-11075584,-10158080,-9240576,-8323072,-7405568,-6488064,-5570560,-4653056,-3735552,-2818048,-1900544,-983040,-65536,-61440,-57088,-52736,-48640,-44288,-39936,-35840,-31488,-27136,-23040,-18688,-14336,-13312,-12032,-11008,-9728,-8704,-7424,-6144,-5120,-3840,-2816,-1536,-256,-235,-214,-193,-171,-150,-129,-108,-86,-65,-44,-23,-1,-1,-1,-1);
layout (location = 0) in int vPosition;

uniform mat4 model;
uniform mat4 view;
uniform mat4 projection;

uniform int lineNum;
uniform int w;
uniform int h;

out vec3 aColor;

vec3 generateColor(int k) {
    int c = colors[k];
    int r = (c >> 16) & 0xff;
    int g = (c >> 8) & 0xff;
    int b = c & 0xff;
    return vec3(float(r)/255.0f, float(g)/255.0f, float(b)/255.0f);
}

void main() {
    // gl_PointSize = 6.0;
    float fw = float(w);
    int y = gl_VertexID / w;
    int x = gl_VertexID % w;
    float fx = float(x) / fw - 0.5f;
    float fy = 0.5f - float(y) / fw;

    int h = vPosition;

    // 128 ~ 160
    int a = (h >> 24) & 0xff;
//    int r = (h >> 16) & 0xff;
//    int g = (h >> 8) & 0xff;
//    int b = h & 0xff;


    h = a - 128;
    if (h < 0) {
        h = 0;
    }

    int k = h > 31 ? 63 : h * 2;
    aColor = generateColor(k);
    gl_Position  = projection * view * model * vec4(fx, fy, float(h) / 256.0f, 1.0f);

将颜色传给片段着色器显示
shader_audio_f.glsl

#version 300 es
precision mediump float;
in vec3 aColor;
out vec4 fragColor;

void main() {
     fragColor = vec4(aColor, 1.0);
}

最终效果如下图，录屏设置的码率比较低，实际上是很清晰的。

Github地址

完整项目在SurfacePaint项目下的opengles3模块里的audio。

标签：---,vertexBuffer,Visualizer,int,vbo,MIUI,lineNum,OpenGLES3,GL
来源： https://www.cnblogs.com/rome753/p/16481573.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

ICode9