iVocaloid论坛

标题: 【Rocaloid经验总述】【七】关于语音学研究 [打印本页]

作者: Zleepwalking 时间: 2013/5/31 12:08 标题: 【Rocaloid经验总述】【七】关于语音学研究

本帖最后由 Zleepwalking 于 2015/3/22 18:26 编辑

2015.3
本贴所包含信息时间过于久远，已废弃。出于保留项目历史原因在此搁置。

好吧……这章写出来基本是废的。本人对语音学没什么研究。只是为了取到最好的发音词典参数而已做了一些实验。

音节发音提前量的实验

这个实验的作用是优化音节与音节间的衔接。

Vocaloid合成时会把发音提前0 - 0.05秒左右的时间，这段提前主要是把辅音前置了。通过分析Vocaloid合成各种辅音的波形，取得这些提前量的数据，用于CDT发音词典，可以优化Rocaloid初音的合成自然度。

首先提前量受辅音本身影响。如果是比较长的擦音就提前比较多；有些爆破音甚至不会提前反而会延迟几毫秒。半元音（这里指l、r、w、m、n）的提前也很多，而且会跟上一个音尾接起来。
数值上这个提前量主要受上个音节长度影响，准确来说是当前音节其实位置 - 上个音节起始位置的时长。这个差值越大，提前量就越大。
提前量受音节本身时长的影响小到可以忽略不计。除非当前音节特别短否则提前量基本没变化。

于是我设计了一个实验：

用洛天依合成如上……然后用Goldwave打开wav，一个一个测量时间长度……这是个漫长的过程

好在，我写了个job批量生成这种vsqx：

http://pan.baidu.com/share/link?shareid=550006&uk=3423845838

VSQX里把相邻两个音节的分界正好卡在整秒上。然后我用OD改了Goldwave按CTRL + SHIFT + →的相应，让选择区域也卡在整秒上……一番整顿以后这个功能终于实现了。因为Goldwave的版权保护，在这里不便放出修改后的版本。

一个小时就把这一堆数据做出来了：

上个音节提前结束的时间	当前音节提前时间	当前音节的辅音长度
ba
0.038	0	0.011
0.031	0.001	0.01
0.023	0.002	0.01
0.024	0.004	0.01
0.019	0	0.01
0.021	0.001	0.01
0.008	-0.001	0.006
0.011	0	0.007
0.004	-0.004	0.007
0	0	0.007

ca
0.085	0.054	0.067
0.088	0.056	0.067
0.077	0.05	0.062
0.073	0.046	0.057
0.059	0.036	0.05
0.052	0.031	0.049
0.036	0.022	0.033
0.027	0.017	0.027
0.016	0.008	0.022
0.006	0.004	0.015

cha
0.126	0.099	0.101
0.115	0.09	0.093
0.099	0.08	0.084
0.091	0.068	0.073
0.067	0.053	0.061
0.063	0.049	0.056
0.052	0.039	0.045
0.03	0.023	0.027
0.021	0.014	0.021
0.006	0.004	0.01

da
0.051	-0.004	0.01
0.048	0.003	0.01
0.05	0.002	0.01
0.047	0	0.01
0.037	-0.004	0.01
0.033	-0.003	0.01
0.029	-0.001	0.01
0.014	0	0.009
0.011	-0.004	0.01
0.002	-0.003	0.009

fa
0.073	0.087	0.09
0.065	0.078	0.086
0.068	0.078	0.081
0.064	0.073	0.078
0.047	0.058	0.067
0.038	0.047	0.053
0.035	0.044	0.048
0.023	0.028	0.03
0.014	0.017	0.026
0.015	0.017	0.01

ga
0.066	0.008	0.018
0.069	0.009	0.017
0.072	0.01	0.017
0.072	0.011	0.017
0.059	0.007	0.017
0.05	0.003	0.011
0.042	0.005	0.011
0.024	0	0.005
0.015	-0.004	0.006
0	-0.004	0.005

ha
0.091	0.085	0.098
0.089	0.092	0.099
0.076	0.075	0.081
0.075	0.068	0.077
0.06	0.058	0.071
0.046	0.043	0.052
0.041	0.038	0.047
0.026	0.026	0.03
0.016	0.026	0.025
0.001	0	0.01

ji
0.091	0.056	0.068
0.087	0.051	0.061
0.076	0.046	0.055
0.067	0.042	0.048
0.053	0.032	0.043
0.045	0.028	0.037
0.034	0.018	0.026
0.024	0.013	0.019
0.01	0.003	0.014
0.003	0.002	0.011

ka
0.071	0.038	0.083
0.065	0.039	0.079
0.059	0.041	0.079
0.058	0.042	0.079
0.052	0.038	0.079
0.045	0.028	0.068
0.034	0.018	0.056
0.02	0.008	0.045
0.01	-0.003	0.038
0	-0.002	0.03

la
0.021	0.021	/
0.021	0.021	/
0.023	0.023	/
0.023	0.023	/
0.019	0.019	/
0.019	0.019	/
0.015	0.015	/
0.01	0.01	/
0	0	/

ma
-0.016	-0.016	/
-0.015	-0.015	/
-0.015	-0.015	/
-0.013	-0.013	/
-0.017	-0.017	/
-0.015	-0.015	/
-0.013	-0.013	/
-0.01	-0.01	/
-0.016	-0.016	/
-0.013	-0.013	/

na
-0.012	-0.012	/
-0.011	-0.011	/
-0.007	-0.007	/
-0.006	-0.006	/
-0.012	-0.012	/
-0.008	-0.008	/
-0.009	-0.009	/
-0.006	-0.006	/
-0.008	-0.008	/
-0.009	-0.009	/

pa
0.144	0.054	0.062
0.138	0.056	0.061
0.12	0.046	0.054
0.112	0.042	0.044
0.093	0.032	0.039
0.069	0.027	0.032
0.058	0.023	0.027
0.037	0.013	0.019
0.018	0.002	0.013
0.006	-0.002	0.002

qi
0.132	0.094	0.11
0.122	0.089	0.103
0.105	0.078	0.091
0.091	0.068	0.079
0.073	0.053	0.068
0.064	0.049	0.062
0.05	0.039	0.051
0.033	0.029	0.039
0.026	0.019	0.033
0.01	0.01	0.023

sa
0.083	0.083	0.097
0.077	0.077	0.09
0.081	0.081	0.093
0.072	0.072	0.082
0.056	0.056	0.07
0.046	0.046	0.059
0.038	0.038	0.049
0.026	0.026	0.036
0.015	0.015	0.029
0.002	0.002	0.014

sha
0.082	0.082	0.097
0.076	0.076	0.089
0.067	0.067	0.078
0.056	0.056	0.066
0.046	0.046	0.06
0.042	0.042	0.055
0.032	0.032	0.044
0.028	0.028	0.037
0.012	0.012	0.026
0.003	0.003	0.015

ta
0.093	0.026	0.048
0.081	0.022	0.047
0.076	0.023	0.043
0.066	0.019	0.041
0.055	0.015	0.037
0.046	0.011	0.032
0.032	0.006	0.025
0.026	0.008	0.025
0.014	-0.002	0.023
0.009	0.001	0.024

wa
0.058	0.058	/
0.055	0.055	/
0.064	0.064	/
0.061	0.061	/
0.059	0.059	/
0.056	0.056	/
0.042	0.042	/
0.024	0.024	/
0.011	0.011	/
0	0	/

xi
0.082	0.082	0.098
0.078	0.078	0.092
0.08	0.08	0.092
0.069	0.069	0.08
0.06	0.06	0.075
0.049	0.049	0.063
0.038	0.038	0.05
0.029	0.029	0.039
0.019	0.019	0.033
0.007	0.007	0.02

za
0.065	0.056	0.071
0.058	0.058	0.07
0.06	0.06	0.071
0.055	0.055	0.065
0.046	0.046	0.06
0.042	0.042	0.054
0.031	0.031	0.042
0.021	0.021	0.031
0.012	0.012	0.025
0	0	0.012

zha
0.067	0.04	0.058
0.067	0.042	0.059
0.059	0.033	0.048
0.054	0.034	0.047
0.038	0.02	0.038
0.036	0.019	0.035
0.025	0.014	0.029
0.021	0.009	0.022
0.011	0.007	0.025
0.001	0.001	0.017

音节中各音素所占时长

研究这个的作用是写出更好的参数生成器：过渡时间计算。

探究不同时长相同发音的音节中个音素过渡时长的变化关系。

这个实验也是用洛天依做的，我们测试过真人但是发音长度太难控制了。

数据是Enigma语音学小组分析的，Enigma是我在学校开的社团……

我们只做了ch打头的几个拼音的实验，后来farter说这东西的控制变量太多了根本没法定量研究出来，实验就停止了。

C3	CH	A
DURATION(s)	CH	A
0.255	0.134	0.121
0.381	0.134	0.247
0.499	0.134	0.365
0.630	0.134	0.496
0.752	0.134	0.618
0.879	0.134	0.745
1.004	0.134	0.870
1.124	0.134	0.990
1.250	0.134	1.116
1.378	0.134	1.244

C3		CHAN
DURATION(s)	CH	A->N	N	CH + A
0.216	0.109	0.024	0.083	0.133
0.341	0.109	0.085	0.147	0.194
0.463	0.109	0.159	0.195	0.268
0.594	0.109	0.277	0.208	0.386
0.712	0.109	0.387	0.216	0.496
0.840	0.109	0.520	0.211	0.629
0.963	0.109	0.645	0.209	0.754
1.085	0.109	0.766	0.210	0.875
1.212	0.109	0.878	0.225	0.987
1.343	0.109	1.012	0.222	1.121

C3		CHUA
DURATION(s)	CH	U->A	A	CH+U
0.214	0.094	0.028	0.092	0.122
0.338	0.094	0.040	0.204	0.134
0.460	0.094	0.044	0.322	0.138
0.594	0.094	0.040	0.460	0.134
0.717	0.094	0.040	0.583	0.134
0.843	0.094	0.040	0.709	0.134
0.968	0.094	0.040	0.834	0.134
1.095	0.094	0.040	0.961	0.134
1.216	0.094	0.040	1.082	0.134
1.346	0.094	0.040	1.212	0.134

C3		CH	UAN
DURATION(s)	CH	U-A	A->N	N	CH+U	CH+U+A
0.248	0.126	0.049	0.000	0.073	0.175	0.175
0.373	0.126	0.061	0.062	0.124	0.187	0.249
0.500	0.126	0.061	0.188	0.125	0.187	0.375
0.626	0.126	0.061	0.312	0.127	0.187	0.499
0.749	0.126	0.061	0.435	0.127	0.187	0.622
0.877	0.126	0.061	0.563	0.127	0.187	0.750
0.999	0.126	0.061	0.685	0.127	0.187	0.872
1.129	0.126	0.061	0.815	0.127	0.187	1.002
1.251	0.126	0.061	0.937	0.127	0.187	1.124
1.377	0.126	0.061	1.063	0.127	0.187	1.250

C3		CH	UAI
DURATION(s)	CH	U->A	A->I	I	CH+U	CH+U+A
0.247	0.109	0.052	0.012	0.074	0.161	0.173
0.379	0.109	0.064	0.077	0.129	0.173	0.250
0.499	0.109	0.066	0.134	0.190	0.175	0.309
0.627	0.109	0.068	0.186	0.264	0.177	0.363
0.750	0.109	0.067	0.322	0.252	0.176	0.498
0.878	0.109	0.069	0.441	0.259	0.178	0.619
0.987	0.109	0.068	0.551	0.259	0.177	0.728
1.130	0.109	0.070	0.691	0.260	0.179	0.870
1.246	0.109	0.069	0.807	0.261	0.178	0.985
1.376	0.109	0.068	0.942	0.257	0.177	1.119

图片附件: exp.png (2013/5/31 10:46, 3.22 KB) / 下载次数 93
http://bbs.ivocaloid.com/forum.php?mod=attachment&aid=NzE5NDV8ZmZjNWQzNzJ8MTc2MTk5NTk0NnwwfDA%3D

作者: rgwan 时间: 2013/5/31 15:58

这个数据的测量实在是比较纠结的事情啊……我在学校几乎是啥事都干不了。

作者: 疾风月影 时间: 2013/6/1 15:41

其实说这个测量有一点没意义…在台湾科技大学古鸿炎，王如江先生04年的论文《基于国语表情分析之歌声合成》中就明确指出，母音（即元音）是音节中的重音点，也就是说节奏上拍子会打在元音起始的地方，辅音的提前只是此原因产生的一种现象而已。

作者: Zleepwalking 时间: 2013/6/1 18:53

疾风月影发表于 2013/6/1 15:41
其实说这个测量有一点没意义…在台湾科技大学古鸿炎，王如江先生04年的论文《基于国语表情分析之歌声合成》 ...

我试过把元音和拍子对齐，但效果非常糟糕。使用这上面的数据以后效果有明显改善。

作者: 疾风月影 时间: 2013/6/1 21:14

恩....回去试了一下...我承认我错了tat...
但是洛天依本身也被吐槽过发音对拍问题，所以说拿来测试是不是有点不妥？

作者: 疾风月影 时间: 2013/6/1 21:27

而且说后一个实验，多元音共振峰渐变速度....这个问题其实在歌声合成上并不是太为严重，我印象中演唱长音时一般会在其中的一个元音做延长。比如说chang里面a就被延长了。ng略有延长...语音合成领域一般使用构建大规模语料库的方式解决...就是苦了录音人。在下想快慢两种差不多够用。

作者: 疾风月影 时间: 2013/6/1 21:30

另外优化音阶实验有没有考虑到后面的元音可能对录音带来的影响（ka与ke不同这样的）？音与音之间连接的影响？（a ka 和e ka这样的）考虑到连续音库这个特性，这两点应该是很有必要的.....

作者: Zleepwalking 时间: 2013/6/1 21:48

疾风月影发表于 2013/6/1 21:30
另外优化音阶实验有没有考虑到后面的元音可能对录音带来的影响（ka与ke不同这样的）？音与音之间连接的影响 ...

可变参数太多了，暂时的想法是写个CVS Editor，专门对CVS进行微调。

欢迎光临 iVocaloid论坛 (http://bbs.ivocaloid.com/)