ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

HMS Core机器学习服务实现同声传译,支持中英文互译和多种音色语音播报

2022-06-25 14:33:16  阅读:166  来源: 互联网

标签:Core 互译 void RESULTS 传译 语音 文本 public


当用户有跨语种交流或音频内容翻译的需求时,应用需要能自动检测语音内容再输出为用户需要的语言文字。

HMS Core机器学习服务提供同声传译能力,同声传译实现将实时输入的长语音实时翻译为不同语种的文本以及语音,并实时输出原语音文本、翻译后的文本以及翻译文本的语音播报。

在直播类,会议类的应用中,同声传译显得尤为重要。比如,在会议类应用中,可以将正在进行的会议发言人的发言内容实时输出为目标语言文字,便于不同语言的人实时理解会议内容,提高会议效率。在直播类应用中,可以将主播的说话内容实时输出为用户需要的语言文字,再进行实时播报,提高了用户的观看体验。

HMS Core机器学习服务同声传译能力不仅支持连续5小时的实时长语音输入转换为文本,还支持中英文互译和多种音色语音播报,满足不同类型应用中不同场景的需要。

DEMO示例

开发步骤

在进行开发之前,您需要完成必要的开发准备工作,同时请确保您的工程中已经配置HMS Core SDK的Maven仓地址,并且完成了本服务的SDK集成。

SDK示例代码如下:

dependencies{
    // 引入同声传译服务SDK
implementation 'com.huawei.hms:ml-computer-si-sdk:3.5.0.312'
}
  1. 请参见云端鉴权信息使用须知,设置您应用的鉴权信息。

  2. 创建同传识别器,并设置配置。

MLSimultaneousInterpretationConfig config = new 
MLSimultaneousInterpretationConfig.Factory()
                // 设置源语种,目前支持中文和英文
.setSourceLanguage(MLSimultaneousInterpretationConstants.LAN_ZH_CN)
                // 设置目标语种,目前支持中文和英文
                .setTargetLanguage(MLSimultaneousInterpretationConstants.LAN_EN_US)
                // 设置识别类型。支持原始文本+翻译文本+翻译语音
                .setResultType(MLSimultaneousInterpretationConstants.RESULT_TYPE_TEXT_TRANSLATED_VOICE)
                // 设置发音人,支持中、英男声和女声
                .setPerson(MLSimultaneousInterpretationConstants.EN_FEMALE_VOICE)
                .create();
 MLSimultaneousInterpretationRecognizer = MLSimultaneousInterpretationRecognizer.getInstance();
  1. 创建语音识别结果监听器回调。
// 回调实现MLSimultaneousInterpretationListener,实现接口中的方法。
    protected class SIRecognitionListener implements MLSimultaneousInterpretationListener {
        @Override
        public void onStartListening() {
            // 录音器开始接收声音。
 }
        @Override
        public void onVoiceDataReceived(byte[] data) {
            // 返回给用户原始的PCM音频流和音频能量,该接口并非运行在主线程中,返回结果需要在子线程中处理。
        }
        @Override
        public void onRecognizingResults(Bundle partialResults) {
            // 从SIRecognitionListener接收到持续语音识别的文本。
            // RESULTS_RECOGNIZING:原始文本;RESULTS_TRANS_RECOGNIZING:tts文本;RESULTS_SN:原始序列号;RESULTS_TRANS_SN:tts序列号
        }
        @Override
        public void onResults(Bundle results) {
            // 从SIRecognitionListener接收到完整的句子
            // RESULTS_RECOGNIZED:原始结果;RESULTS_TRANS_RECOGNIZED:tts结果
        }
        @Override
        public void one rror(int error, String errorMessage) {
            // 识别发生错误后调用该接口。
        }
        @Override
        public void onState(int state, Bundle params) {
            // 通知应用状态发生改变。
        }
    }
  1. 绑定同传识别器。
mlSimultaneousInterpretationRecognizer.setMLSimultaneousInterpretationListener(new SIRecognitionListener());
  1. 调用startRecognizing启动语音识别。
// 开始识别。 
 mlSimultaneousInterpretationRecognizer.startRecognizing(config);
  1. 识别完成后,结束识别并释放资源。
if (mlSimultaneousInterpretationRecognizer!= null) {
  mlSimultaneousInterpretationRecognizer.destroy();
  }

了解更多详情>>

访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址:GitHubGitee

关注我们,第一时间了解 HMS Core 最新技术资讯~

标签:Core,互译,void,RESULTS,传译,语音,文本,public
来源: https://www.cnblogs.com/hmscore/p/16411516.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有