smartivr 为福州晋安区顶顶通软件有限公司开发的软件产品,受中华人民共和国著作权法保护,侵权必究
用户自己实现 httpAPI,机器人程序去调用这个接口,不是 机器人提供httpapi给用户调用。
外呼程序呼叫电话接通后,或者客户主动呼入接通后 机器人程序 向 webserver post 发送
smartivr --> web
```
{
"calleeid": "8888", //被叫号码 对于自动外呼是是流程ID
"callerid": "1500000", //主叫号码 对于自动外呼是被叫号码
"origcallerid": "", //原始主叫 对于自动外呼是主叫号码
"callid": "1fe74812-e376-4319-b335-3de1b494325c", //每个通话的唯一ID
"errorcode": 0, //错误代码
"flowdata": null, //流程数据
"flowid": "abc", //流程ID
"notify": "enter" //通知类型
}
```
webserver根据业务逻辑 返回 json数据 比如 下面的命令就是 启动后台ASR,并且播放一个声音
smartivr <-- web
```
{
"action": "start_asr", //第一个动作 start_asr是一个异步函数,只需要执行一次,启动后会一直进行VAD和ASR,直到调用sotp_asr
"flowdata": "流程选择", //流程数据,类似浏览器的Cookie,机器人后续httpapi请求会把这个数据发送回来。
"params": {
"min_speak_ms": 100, //最小说话时间,默认值100,单位毫秒,说话时间小于这个值,会被认为是无效声音。
"max_speak_ms": 10000, //最大说话时间,默认值10000,单位毫秒,说话时间超过这个值,就停止录音,直接提交ASR服务器识别。
"min_pause_ms": 300, //最小停顿时间,默认值300,单位毫秒,默认值用户停顿时间超过这个值,会提交到ASR识别。识别完成后发送asrprogress事件。 完成后的意思是 ASR服务器可能 300-800ms才返回识别接口。
"max_pause_ms": 600, //最大停顿时间,默认值600,单位毫秒,用户停顿时间超过这个值,认为一句话说完,所有识别完成后发送asrmessage事件。所有识别完成后的意思是,所有提交到asr服务器的识别结果都返回了。 注意 min_pause_ms 必须大于min_pause_ms。
"pause_play_ms": 200, //触发暂停放音时间,默认值0:就是禁用自动暂停,单位毫秒,建议设置200-1000,用户说话时间超过这个值,就暂停放音。 有时候用户一直持续说话,中间没停顿,所以还没提交到ASR服务器识别,不能使用关键词打断,可以先暂停放音。
"threshold": 0, //VAD阈值,默认0,建议不要设置,如果一定要设置,建议 2000以下的值。
"recordpath": "", //录音文件路径,如果不设置:就会使用配置文件中的路径,每天生成一个文件夹,如果设置了,就会使用这个参数中的目录,文件格式是 recordpath/被叫号码_Unique-ID_序号.wav
"volume": 50 //音量标准化的值。0-100,0不使用音量标准化,其他值 音量把录音音量调整到这个值后,再提交ASR识别。
},
"after_action": "playback",
"after_ignore_error": false, //如果action动作(start_asr)执行失败是否继续执行after_action(playback)。
"after_params": {
"prompt": "您好,欢迎致电顶顶通软件,这里是电话机器人演示系统,请说要进入的测试流程,比如,房产!", //可以直接播放声音文件。规则就是如果最后4个字是.wav,就直接播放wav文件。
"wait": 5000, //单位毫秒,放音结束后等待时间。用于等待用户说话。
"retry": 0 //重播次数。就是wait时间内用户不说话,就重新播放声音。
}
}
```
机器人程序执行 “action”:“start_asr” 开始后台ASR识别,然后执行"after_action": "playback"开始播放声音文件。
smartivr --> web
```
{
"asrelapse": 391, //asr识别服务器消耗的时间,单位毫秒。
"asrtextall": "1.识别结果;", //包含之前停顿的识别结果的组合。 格式是 录音序号.识别结果;这样组合多个识别结果。
"asrtype": "aiui", //本次使用那个asr识别
"calleeid": "8888abc",
"callerid": "abc",
"callid": "1aec14af-d6a8-49e4-96fc-fb5f7cfdb893",
"errorcode": 0, //asr返回错误,0无错误。
"flowdata": "流程选择",
"flowid": "abc",
"message": "识别结果",
"notify": "asrprogress_notify",
"recordindex": "1", //录音序号
"recordfile": "", //录音文件
"recordms": 931, //录音时间,单位毫秒。
"volumegain": 5.95330699999 //音量标准化放大或者缩小的倍数。
}
```
smartivr <-- web
```
{
"action": "console_playback",
"flowdata": "流程选择",
"params": {
"command": "pause"
}
}
```
smartivr --> web
```
{
"calleeid": "8888abc",
"callerid": "abc",
"callid": "ea6d1235-aaab-4251-b03b-3b53ca32e00d",
"errorcode": 0,
"flowdata": "流程选择",
"flowid": "abc",
"message": "1.你好;2.什么事;",
"notify": "asrmessage_notify",
"speakms": "1162" //整句话的说话时间,包含暂停时间
}
```
smartivr <-- web
```
{
"action": "playback",
"flowdata": "回答",
"params": {
"prompt": "先生你好,请问你最近需要买房吗",
"wait": 3000,
"retry": 2
}
}
```
smartivr --> web
```
{
"calleeid": "8888abc",
"callerid": "abc",
"callid": "35bca774-5b3e-4129-a5e7-1c3c86605071",
"errorcode": 0,
"flowdata": "",
"flowid": "abc",
"message": "FILE PLAYED",
"notify": "playback_result"
}
```
smartivr <-- web
```
{
"action": "playback",
"flowdata": "提示选择流程",
"params": {
"prompt": "请问你要进入哪个测试流程,比如,房产",
"wait": 3000,
"retry": 2
}
}
```
webserver 结束流程,播放一个提示声音,结束通话。
smartivr <-- web
```
{
"action": "playback",
"suspend_asr": true, //播放提示音时候暂停ASR识别
"flowdata": "",
"params": {
"prompt": "谢谢你的使用,再见"
},
"after_action": "hangup",
"after_ignore_error": true,
"after_params": {
"cause": 0,
"usermsg": ""
}
}
```
简单点说asrprogress_notify就是用来控制是否需要打断,asrmessage_notify用来控制是否需要播放一个新的声音。
用户说话超过 pause_play_ms ,就会自动暂停放音,asrprogress_notify通知,ASR识别返回的是空,就是没识别到有效文本的时候,就可以返回 console_playback(resume) 来恢复放音了。
可能不怎么好理解, 就是 start_asr 的 pause_play_ms 参数,可以设置,检测到用户说话时间超过这个参数,就自动停止放音, 如果是噪音的话,asrprogress_notify返回的是无效文本,就可以利用asrprogress_notify来恢复这个给自动暂停的放音。
执行 playback后,播放完成并且等待超时,就会发送playback_result 通知。
start_asr 有一个参数 pause_play_ms,demo是200, 就是检测到说话声音持续时间时间超过pause_play_ms,就自动暂停放音。如果你不需要这个功能设置为0, 如果你启用了这个功能,asrmessage_notify通知每播放一个新的声音就必须要恢复放音console_playback(resume)。否则机器人放音一直暂停着(收不到playback_result通知)。
asrprogress_notify返回 console_playback(pause),或者asrmessage_notify返回播放新的声音,就会停止播放当前的声音。
机器人放音的时候可以识别用户说话,但是不打断机器人放音:playback的allow_interrupt设置-1,关闭自动打断。asrprogress_notify返回 noop。 asrmessage_notif
如果playstate等于false(当前没放音),执行业务逻辑播放新的声音。asrmessage_notif如果playstate等于true(当前在放音,不处理),返回noop,并且把识别结果记录到flowdata,等paly_result的时候再处理识别结果。如果paly_result的时候检测放音过程是否有识别结果,如果有执行业务逻辑处理流程,如果没有返回wait.
放音的时候直接暂停asr, 自然也就不会打断了。playback的block_asr设置为-1.本次放音,禁用了asr,就可以了。
如果要完全避免噪音打断可以把自动打断关闭,使用关键词打断。如果要求不高可以把pause_play_ms设置大些,比如1000。playback新加了一个自动打断控制参数,可以设置本次机器人放音多久才启用自动打断。
2.3版本playback添加了一个参数block_asr,playback的时候把block_asr设置为-1,就可以了。
asrprogress_notify和asrmessage_notify 新加了一个参数 playms,playms意思是用户开始说话时机器人放音时间(如果大于0就是放音时间),0就是机器人没在放音。
asrmessage_notify 的参数 playstate 表示用户说话结束的时候(发送asrmessage的时候)机器人是否在放音。
由此可以推断出 asrmessage_notify 的时候 如果 playms>0并且<2000(自己定义一个合适的),说明机器人刚开始放音用户就开始说话了。
如果 playms等于0,playstate等于true,说明用户刚开始说话,机器人也开始放音了。
wait_result 和 playback_result 新加了1个参数 asrstate为true是表示用户当前已经在说话, 可以返回noop。否则必须返回wait,或者playback.
asrprogress_notify 加了一个参数 gender 0未识别 1女 2男 3可能女 4可能男 其他系统错误
如果有噪音识别授权 start_asr的filter_level 设置为 0.6:一句话结束判断声音是否是噪音。 0.7: 噪音的时候不掉用ASR。 0.8:VAD算法集成噪音和人声识别。 在0.6和0.7时设置asrprogress_notify 参数 noise 0:人声 1:噪音 -1:未启用。
因为用户说话停顿时间超过 min_pause_ms ,就提交ASR识别(如果配置了保存录音会生成一个录音文件),识别结果通过 asrprogress_notify 通知业务程序。
停顿时间超过 max_pause_ms 认为说完一整句话,就发送asrmessage_notify通知给业务程序。
如果说一句话的过程,用户多次停顿,并且时间在 min_pause_ms和max_pause_ms之间,就会产生多个录音文件。
对接暂时界面上,好比我们微信聊天,对方说2句你回复1句是完全正常的情况,网页上展示2个或者多个录音文件就可以。
如果你想尽量的不要出现多次asrprogress_notify,可以把 min_pause_ms 设置大些,比如 min_pause_ms和max_pause_ms都设置800。这时候用户停顿800,才提交ASR,ASR识别的时候如果用户不说话,识别完成马上就发送asrmessage_notify通知,如果识别过程,用户又说话了,还是需要等新的ASR识别结果返回后,在发送asrmessage_notify,就出现多个asrprogress_notify了。
leave新加了一个参数 hangup_disposition recv_bye:对方先挂机, send_bye:机器人先挂机。
bridge就是实现这个功能的,可以把用户电话转接给分机或者客服手机,具体看bridge和bridge_result说明。
流程出现这个问题一般是 playback_result通知asrstate等于false时没播放新的声音,或者asrmessage_notify没匹配关键词,并且playstate等于false的时候没播放新的声音。 playback_result通知asrstate等于false时和asrmessage_notify通知playstate等于false,这2个情况必须播放一个声音或者执行wait, 千万不要返回noop或者console_playback。
3.0版本 asrprogress_notify 的 asrmessage_notify 通知加了一个lag参数,lag为true,就是上一个动作的识别结果。
场景说明,用户先说,哪里,过了1秒再说,哦不需要了。 smartivr先通知 "哪里"的识别结果,流程返回playback,这个声音文件还没开始播放, smartivr又通知 "哦不需要了"的识别结果。 "哦不需要了"的识别结果的lag会为true,流程判断lag就可以处理这样的情况了。
注意:请求和返回都采用JSON格式,编码为utf8,所有参数区分大小写,数字和字符串类型注意区分,参数未说明数字类型就是字符串类型。
{"calleeid":"996","callerid":"linphone","callid":"e56aff85-f8e9-4385-a67b-b7881329860d","notify":"enter"}
{"calleeid":"996","callerid":"linphone","callid":"ceff27c7-fcd9-407c-9f9f-9ddea1a8aa5b","flowdata":"","notify":"leave"}
说话停顿min_pause_ms时间后返回的识别结果。
说话停顿max_pause_ms时间后返回的真句话的识别结果。
message 整句话的识别结果。 格式是 录音序号.识别结果;这样组合多个识别结果。
speakms 整句话的说话时间,包含暂停时间
playms 检测到说话声音起点时播放声音时间,0没放音 ,其他放音时间
playstate 说话结束的时候(发送asrmessage的时候)是否还在放音。
quiescems 如果playstate 为false时会设置这个值(smartivr 5.13开始支持)放音停止时到当前的时间。
playpause 如果playstate为true的时候会这则这个值(smartivr 5.13开始支持)是否暂停了放音(比较自动打断)。
lag 布尔类型 true:本次识别结果是上一个动作的时候产生的具体 看faq lag说明。
获取DTMF返回
{"calleeid":"996","callerid":"linphone","callid":"4e11935d-127f-45d0-b395-9d6aa4d3430d","errorcode":0,"flowdata":""message":"FILE PLAYED","notify":"playback_result"}
转接结束,转接失败,或者转接成功通话结束才收到这个通知。收到这个通知后请挂断通话(返回 hangup),也可以继续执行asr流程。
{"calleeid":"996","callerid":"linphone","callid":"d0a3e9a8-2ce2-42e3-8fa7-55c5eb15326d","errorcode":480,"flowdata":"","hangupcause":"Temporarily Unavailable","message":"NO_USER_RESPONSE","notify":"bridge_result"}
{"calleeid":"8888","callerid":"linphone","callid":"1811135d-fae2-4550-978c-f5dd972a1483","errorcode":0,"flowdata":"","flowid":"","message":"_none_","notify":"transfer_result"}
转移到其他流程完成,注意电话挂断后才会发送 leave
停止后台asr完成
calleeid":"8888","callerid":"linphone","callid":"e757f1c1-c890-4b03-bced-dfdf84fd2419","errorcode":0,"flowdata":"","flowid":"","message":"SUCCEED","notify":"stop_asr_result"}
等待超时
start_asr 是一个异步函数,只需要执行一次,启动后会一直进行VAD和ASR,直到调用sotp_asr
linux /etc/smartivr.json,windows freeswitchconsole.exe同一个目录 ,具体看配置说明
播放一个声音文件
prompt 使用数组方式就可以,比如
```
[
"/var/wav/1.wav",
"tts文字转声音",
"/var/var/2.wav"
]
```
:{"action":"stop_asr","flowdata":"\u8bed\u97f3\u8bc6\u522b"}
停止后台ASR。
用于播放控制,用户说话开始,先暂停播放,如果说的是无效声音,可以恢复播放。
{"action":"bridge","flowdata":"","params":{"number":"sofia\/external\/[email protected]:16080","callerid":"","gateway":"","prompt":"\u6b63\u5728\u8f6c\u63a5\u4e2d\uff0c\u8bf7\u7b49\u5f85","background":"wating.wav"}}
注意 请先执行 stop_asr,不然转接后还会继续进行语音识别
{"action":"hangup","params":{"usermsg":"not found notify"}}
{"action":"noop","params":{"usermsg":""}}
{"action":"deflect","flowdata":"","params":{"number":"1001"}}
{"action":"getdtmf","flowdata":"","params":{"prompt":"","invalid_prompt":"","min":0,"max":128,"tries":1,"timeout":5000,"digit_timeout":3000,"terminators":"#"}}
action":"stop_asr","flowdata":"\u8bed\u97f3\u8bc6\u522b","after_action":"transfer","after_ignore_error":false,"after_params":{"destnumber":"test","dialplan":"XML","context":"default"}}
注意 请先执行 stop_asr,不然还是继续进行语音识别
{"action":"wait","flowdata":"","params":{"timeout":1000}}
(4.3.2以上版本支持,只能enter通知时回复,会对新的接口地址重新发送enter,flowdata如果不为空,会使用返回的flowdata,如果空,使用默认的)
{"action":"redirect","flowdata":"","url":"新接口地址"}
流接口是VAD检测到开始说话就把语音流直接提交到 ASR 进行实时识别,这样识别速度比HTTP接口更实时。流接和http接口asrprogressnotify 、asrmessagenotify 通知参数有些差异,本文档将描述这些差异。
start_asr的asrconfigurefilename参数设置为 stream:127.0.0.1:9988,就可以了,格式是 stream:流识别代理服务器IP:端口。
流接口不支持男女识别,start_asr的volume 参数不会使用。
{“asrtype”:“stream”,“calleeid”:“8888”,“callerid”:“1000”,“callid”:“2df6b327-a8ef-416d-9504-721c5d71ce35”,“duration”:15,“errorcode”:0,“flowdata”:null,“flowid”:“”,“hangup”:false,“message”:“你”,notify":“asrprogress_notify”,“origcallerid”:“1000”,“playms”:0}
{“asrtype”:“stream”,“calleeid”:“8888”,“callerid”:“1000”,“callid”:“2df6b327-a8ef-416d-9504-721c5d71ce35”,“duration”:15,“errorcode”:0,“flowdata”:null,“flowid”:“”,“hangup”:false,“message”:“你好”,notify":“asrprogress_notify”,“origcallerid”:“1000”,“playms”:0}
比http接口 少了以下参数。
asrtextall
asrelapse
errorcode
volumegain
recordms
recordindex
recordfile
gender
noise
{“calleeid”:“8888”,“callerid”:“1000”,“callid”:“2df6b327-a8ef-416d-9504-721c5d71ce35”,“duration”:17,“errorcode”:0,“flowdata”:null,“flowid”:“”,“hangup”:false,“message”:“你好?,“notify”:“asrmessage_notify”,“origcallerid”:“1000”,“playms”:0,“playstate”:false,“recordfile”:”./asr/20190531/1000_2df6b327-a8ef-416d-9504-721c5d71ce35_1.wav",“speakms”:1285}
就是坐席可以监听机器人和客户对话,通过按DTMF*,可以直接接管机器人直接和客户对话。
{“action”:“eavesdrop”,“flowdata”:{“flowtype”:“default”},“params”:{“dialstring”:“user/1001”,“callerid”:“8888”},“after_action”:“playback”,“after_ignore_error”:true,“after_params”:{“prompt”:“开始呼叫分机实施监听,机器人流程可以继续执行”}}
action:eavesdrop,params.dialstring:这个是一个拨号串,分机例子:user/1000,外线例子:sofia/external/电话号码@vosip
系统会呼叫这个电话,电话接通后,就处于监听模式,听到机器人和用户对话。
是否已经开始监听成功,没有事件通知,如果需要知道是否监听成功,请使用sip.js,sipml5,或者sip客户端,接到电话去反馈结果。
如果需要分机接通后自动接管eavesdrop动作添加一个参数 “skip_eavesdrop”:true (smartivr 4.8.5 开始支持)
如果需要分机接通后,等待机器人当前放音完成时自动接管eavesdrop动作添加一个参数 “auto_bridge”:1或者2,模式1:放音暂停时就自动接管,模式2:放音完成时才自动接管。(smartivr 5.1.2 开始支持),如果设置了skip_eavesdrop,这个参数会给忽略。
人工接通后对人工端也开启实时质检 (smartivr 5.13版本开始支持) 添加了一个参数 asrparam:{“notify_url”:“http://ip/asrnotify”,其他参看start_asr动作文档},可以把坐席端ASR识别结果通知到URL。用户端ASR继续通过samrtivr接口通知,返回noop就可以。
在监听模式,按DTMF *,就进入接管模式。
{“calleeid”:“8888”,“callerid”:“1000”,“callid”:“f01c16f1-0096-490e-80fa-7d32812580b6”,“duration”:56,“errorcode”:0,“flowdata”:{“flowtype”:“default”},“flowid”:“”,“hangup”:false,“lag”:false,“notify”:“bridge_notify”,“origcallerid”:“1000”}
进入接管模式 ,会发送"notify":"bridge_notify"通知,直接返回 action:noop就可以了。这时停止了ASR识别和机器人放音,直到电话挂断,发送 action:levea, 注意进入接管模式不能返回机器人对话的。
文章浏览阅读6.9k次。WCE 下载地址:链接:https://share.weiyun.com/5MqXW47 密码:bdpqku工具界面_wce.exe -s aaa:win-9r7tfgsiqkf:00000000000000000000000000000000:a658974b892e
文章浏览阅读4.5k次。Weather Globe(Mackiev)Google Earth(Google)Virtual Earth(Microsoft)World Wind(NASA)Skyline Globe(Skylinesoft)ArcGISExplorer(ESRI)国内LTEarth(灵图)、GeoGlobe(吉奥)、EV-Globe(国遥新天地) 软件名称: 3D Weather Globe(http:/_网络地球仪
文章浏览阅读1.9w次,点赞113次,收藏57次。我要买这些东西,然后震惊整个办公室_程序员展示刀,产品经理展示枪
文章浏览阅读1.6w次,点赞7次,收藏63次。霍尔信号、编码器信号与电机转向从电机出轴方向看去,电机轴逆时针转动,霍尔信号的序列为编码器信号的序列为将霍尔信号按照H3 H2 H1的顺序组成三位二进制数,则霍尔信号翻译成状态为以120°放置霍尔为例如不给电机加电,使用示波器测量三个霍尔信号和电机三相反电动势,按照上面所说的方向用手转动电机得到下图① H1的上升沿对应电机q轴与H1位置电角度夹角为0°,..._霍尔信号
文章浏览阅读7.1k次,点赞5次,收藏36次。个人微信淘宝客返利机器人搭建一篇教程全搞定天猫淘宝有优惠券和返利,仅天猫淘宝每年返利几十亿,你知道么?技巧分享:在天猫淘宝京东拼多多上挑选好产品后,按住标题文字后“复制链接”,把复制的淘口令或链接发给机器人,复制机器人返回优惠券口令或链接,再打开天猫或淘宝就能领取优惠券啦下面教你如何搭建一个类似阿可查券返利机器人搭建查券返利机器人前提条件1、注册微信公众号(订阅号、服务号皆可)2、开通阿里妈妈、京东联盟、拼多多联盟一、注册微信公众号https://mp.weixin.qq.com/cgi-b_怎么自己制作返利机器人
文章浏览阅读2.1k次,点赞2次,收藏5次。技术分享时应秉持的基本原则:应有团队和个人、奉献者(统筹人)的概念,同时匹配团队激励、个人激励和最佳奉献者激励;团队应该打开工作内容边界,成员应该来自各内容方向;评分标准不应该过于模糊,否则没有意义,应由客观的基础分值以及分团队的主观综合结论得出。应有心愿单激励机制,促进大家共同聚焦到感兴趣的事情上;选题应有规范和框架,具体到某个小类,这样收获才有目标性,发布分享主题时大家才能快速判断是否是自己感兴趣的;流程和分享的模版应该有固定范式,避免随意的格式导致随意的内容,评分也应该部分参考于此;参会原则,应有_技术分享
文章浏览阅读1k次。在模板中,我们使用了标签,将由o2-view组件负责渲染,给o2-view传入了两个参数:app="内容管理数据"和name="所有信息",我们将在o2-view组件中使用这两个参数,用于展现“内容管理数据”这个数据应用下的“所有信息”视图。在o2-view组件中,我们主要做的事是,在vue组件挂载后,将o2的视图组件,再挂载到o2-view组件的根Dom对象。当然,这里我们要在我们的O2服务器上创建好数据应用和视图,对应本例中,就是“内容管理数据”应用下的“所有信息”视图。..._vue2 oa
文章浏览阅读222次。table是lua中非常重要的一种类型,有必要对其多了解一些。
文章浏览阅读549次,点赞30次,收藏9次。我们前面学习都有一个概念,被private封装的资源只能类内部访问,外部是不行的,但这个规定被反射赤裸裸的打破了。反射就像一面镜子,它可以清楚看到类的完整结构信息,可以在运行时动态获取类的信息,创建对象以及调用对象的属性和方法。
文章浏览阅读1.1k次,点赞35次,收藏12次。Logical Volume Manager,逻辑卷管理能够在保持现有数据不变的情况下动态调整磁盘容量,从而提高磁盘管理的灵活性/boot分区用于存放引导文件,不能基于LVM创建PV(物理卷):基于硬盘或分区设备创建而来,生成N多个PE,PE默认大小4M物理卷是LVM机制的基本存储设备,通常对应为一个普通分区或整个硬盘。创建物理卷时,会在分区或硬盘的头部创建一个保留区块,用于记录 LVM 的属性,并把存储空间分割成默认大小为 4MB 的基本单元(PE),从而构成物理卷。
文章浏览阅读379次,点赞7次,收藏10次。4、Dielecteic voltage-withstand test 介电耐压试验。1、Maximum output voltage test 输出电压试验。6、Resistance to crushing test 抗压碎试验。8、Push-back relief test 阻力缓解试验。7、Strain relief test 应变消除试验。2、Power input test 功率输入试验。3、Temperature test 高低温试验。5、Abnormal test 故障试验。
文章浏览阅读535次。镜像烧写说明_正点原子 imx6ull nand 烧录