iVocaloid论坛 › 论坛主页 › 多媒体教室 › Vocaloid&各种创作技术区 › 音源&工具分享(相当于资源区) › 【软件】 Rocaloid 初音中文合成引擎+中文音源库正式发 ...

12 3 4 5 6 7 8 9 10 ... 11 下一页

查看: 50967|回复: 271

[其他] 【软件】 Rocaloid 初音中文合成引擎+中文音源库正式发布 [复制链接]

Sleepwalking

我不是技术宅！

Lv.5-章鱼须

Rank: 5 Rank: 5 Rank: 5

UID: 111156
权限: 40
属性: 宇宙人
发帖: 201 (1精)
积分: 540
章鱼: 3
大葱: 14
茄子: 2688
注册:2012/8/18
存在感:476

电梯直达

[1L]楼主

Zleepwalking 发表于 2012/10/4 13:38:01 |只看该作者 |倒序浏览

本帖最后由 Zleepwalking 于 2014/2/28 20:14 编辑

【这是2011年初代的发布贴，目前最新的开发进度，请转到http://bbs.ivocaloid.com/forum-138-1.html或www.rocaloid.org】

初音中文合成引擎&音源库

Developed by Sleepwalking

2011.4 - 2012.10

写在最前：
请以一个艺术品的眼光看待Rocaloid，而不是一个程序。尽管它还很不成熟，有很大的缺陷。
但Rocaloid是一个经过无数次失败后的无数次修改，我竭尽全力做出的『作品』。
请不要把它和Vocaloid China做比较（我知道Rocaloid的合成效果完全比不上洛天依）。洛天依只是把声音录下来，用Yamaha的技术转成音源库。Rocaloid从引擎到音源库到发声词典都是我一个人完成的（虽然它的原理只是把一大堆不同音调的元音辅音拼接起来）。
你可以赞赏、肯定我的作品，也可以批评、否定它。但请不要侮辱或嘲讽它。请尊重我的作品。

[hide]没错。这就是传说中的初音未来的中文音源库，以及合成引擎。这不是Vocaloid调教辅助软件。

我从头到尾重新制作了初音的音源库，上面提到，“把一大堆不同音调的元音辅音拼接起来”。我从Vocaloid2初音中导出了1000多个不同发音的wav文件，然后自己写了软件进行处理。
然后写出一个叫“CyberVoice”的合成（拼接）引擎。CyberVoice拥有自己的发音记号。
写了2000余行的中文发音词典。
最后制作出Rocaloid的用户界面，以及将vsqx转换成CyberVoice发音参数的功能。

2011.4-2011.6 进行初步的可行性分析，初音中文引擎&音源库项目启动。
2011.6-2011.9 开始制作音源库中元音部分，CyberVoice引擎第一版代码完成，音源库制作工具初代完成。
2011.9-2012.6 遭遇中考，项目几乎停止。这期间在作业、考试、改代码间挣扎……
2012.6-2012.7 中考结束，项目恢复，继续制作音源库，重写工具软件。
2012.8-2012.9 引擎第一版在结构上存在巨大问题，重写，第二版引擎完成。音源库完成。发音词典完成。参数转换器完成。测试曲夕日坂的第1-3次重制。
2012.9-2012.10 不断优化音源库，发音词典和参数转换器。利用Miku_soft修补部分辅音。第4-7次重制。

简单地，客观地讲，Rocaloid的优点在于中文发音很准，合成速度超快，而且大小被压到了46个兆；缺点是衔接生硬，暂不支持参数。
Rocaloid打破了一切Vocaloid引擎的束缚。理论上通过Rocaloid的音源库可以做出任何语言的发音字典，让初音唱出任何语言的歌。感觉效果介于UTAU和Vocaloid之间吧（还是偏UTAU一点，尽管原理上完全不一样）

基本上，Rocaloid的使用方法是：
1.用Vocaloid3做出vsqx文件。（Vocaloid3须自己下，目前仅支持导入Vsqx文件）
2.用Rocaloid打开这个vsqx文件。
3.（可选项）设定合成参数。
4.（可选项）若对Rocaloid的发音参数转换不满意，可以自己修改CyberVoice发音参数。
5.按下合成按钮。

作为编辑器的Vocaloid3可以是任何音源，包括日语、英语、韩语音源，如VY1。
在Vocaloid3中直接输入汉语拼音即可，即使它没有被Vocaloid3识别，Rocaloid会根据自带的发音词典自动转换为CyberVoice发音记号。

注：
Rocaloid是一个合成器，不包括编辑器。
需要.Net Framework 3.0。Rocaloid会自动对vsqx的第一条音轨进行合成，故请在Vocaloid3中将需要唱出的部分置于第一音轨。
Rocaloid初音的音域在C2-C5，合成时超过此音域的音符将被转换成C3。

感谢在制作过程中鼓励我，让我从一次次失败中重拾信心的朋友。感谢网友吴骁1022（BG8NPK）与GKring奉献出狗耳帮我纠正Miku的发音。
感谢关注过Rocaloid项目的网友，给予我前进的动力。
辛苦Miku了。。。。

测试曲地址：
http://pan.baidu.com/share/link?shareid=68987&uk=3423845838
Rocaloid下载地址（46.1 MB）：
http://pan.baidu.com/share/link?shareid=69031&uk=3423845838

详细版教程：1.用任意一款Vocaloid3音源（因为v3必须要有一个音源才能启动）编辑出歌曲的vsqx文件。
直接输入汉语拼音即可。注意全部小写。
（以《我相信》为例）

2.置于第一条音轨，保存。

3.启动Rocaloid，导入vsqx文件。

4.启动CyberVoice合成引擎

5.合成完毕后，在Rocaloid\Output\文件夹下可找到生成的wav文件
音质：16Bits 96000HZ, 1536kbps mono

6.关于后期，推荐用均衡器把0-400HZ频段调低，然后略加混响，效果更好。

最后附上高级教程——手动调整CyberVoice发音参数的教程
首先用Rocaloid正常合成一遍你的大作，弹出CyberVoice引擎窗口后没合成完就可以关上了，我们要的是Script文件。
Script文件位于Rocaloid\Script\Script.txt，这是CyberVoice引擎（以下简称CVE）的发音记号文件。
CVE采用和Vocaloid完全不同的发音记号，更加灵活（虽然复杂+操蛋。。。）

我们又以《我相信》开刀（@杨培安。。。）
第一句歌词的Script：

#CVS 0.8 这是文件头

> SET DYN 2.13333 设定音量2.13333倍

> R 0.28125 静音0.28125秒

> . Pause 静音注释

> A#2 RIS2 SRT 音高：A#2 包络：RIS2，SRT

xs x

i 0.0922511111111111 过渡到i持续0.092秒

a 0.0738008888888889 过渡到a持续0.073秒

NN 0 1 过渡到ng，持续0秒，转换率1（完全转换为ng）

> . xiang xiang注释

> F3 PLO 音高：F3 包络：PLO

ff 0.06 - 0.05 辅音f 持续0.06秒，从0.05秒开始过渡

e 0.15 过渡到e，持续0.15秒

i 0.015 0.985 过渡到i，持续0.015秒，转换率0.985（几乎完全变成i）

> . fei fei注释

> G3 FST2 剩下的以此类推

SH

zz 0.03

a 0.15

NN 0.234448 0.965552

> . shang

> G3 FST2

t 0.05 - 0.02

i 0.1

a 0.15

N 0.15 1

> . tian

上面这段Script中你已经可以看出CVE的许多特性。
这种表示方法让CVE变得很灵活，什么音都唱得出。
每一行Script被称为一个【句】
每一行Script有1至4个部分组成，我把他们称作【元素】。元素间用一个空格隔开。
”>“打头的句叫做【起始句】，第二个元素为音高的起始句被称为【普通起始句】。第二个元素为”.“的起始句被称为【注释句】。一个起始句和向后最近的注释句之间的句的组合，我称之为【段】段中除起始句以外的句子叫做【描述句】

每个段用于描述歌曲中的一个拼音的参数，每个句用来描述拼音中一个元音或辅音的参数。

一般情况，起始句的格式（普通起始句）是
> 【空格】音高【空格】包络1 【空格】包络2
音高就是C3 D#4一类的，用于说明这个段的音高。注意只能用#不能用Bb3这种表示。
包络1和包络2代表这个段的包络特点。
这两个元素可以省略
包络1用于描述这个段的辅音，可以是：
（这里的快速、慢速指的是振幅增大的速度）
（不太好描述，最好自己试试）
PLO  爆破音
FST 快速
FST2 超快速
RFST 比FST稍快，比FST2慢。自己体会。。。
RIS 慢速。比如yi之类的拼音
RIS2  跟RFST差不多。不好描述，自己体会。。。。
RIS3  比FST稍漫，自己体会。。。

包络2用于描述两个段的衔接等。
CNCT 连接，会使上个段的释放（Release）时间与当前段的载入（Attack）时间减少

另外包络1和包络2均可以为SRT，代表急促而短的段，会在PLO、FST、RIS等等这些元素的基础上继续加快。

注释句没有什么实际作用，为了让修改Script的高级用户读起来方便些加入的。

描述句有4种：

1.
发音记号
是且仅是特定辅音的发音记号
持续时间是固定的，故不需要指定。但是必须从最后一个描述句中减去相应的时间。
包括：
C 持续时间0.055604
CH 持续时间0.086240
g 持续时间0.012625
h 持续时间0.031635
J 持续时间0.037292
K 持续时间0.027417
q 持续时间0.072104
S 持续时间0.114240
SH 持续时间0.084573
xs 持续时间0.071094
Z 持续时间0.040333
ZH 持续时间0.042490
2.
发音记号【空格】持续时间
发音记号可以是
a  b  d  e- e  ee ff g  g- h  h- i  j  k- l  l- mm N  NG NN o  p  t  u  wa ww z  zz
基本上就是对应的汉语拼音中的声母和韵母。
不同之处在于，”辅音-“格式的代表gu hu ku lu打头的段。

比如guan的写法就是：
g- 0.12 - 0.07
a 0.1
N 0.5 0.7

e-是用来发出”ai“的
e就是Vocaloid2中的e
ee是Vocaloid2中o的ope调低做出来的”额“
mm就是汉语拼音中的m
N、NG、NN是用来拼出各种前鼻音后鼻音的，区别自己体会。
ff就是汉语拼音中的f

3.
发音记号【空格】持续时间【空格】 - 【空格】保留时间
发音记号和②的记号相同。
这个用来描述一个辅音。
从段开始到保留时间内的部分将不参与过渡。
比如g- 0.12 - 0.07，代表开头0.07秒内直接把音源库中g-的记录拷到输出的wav中，之后0.05秒过渡到下一个描述句。
4.
发音记号【空格】持续时间【空格】过渡率
发音记号和②的记号相同。
用来描述段内最后一个音（但最后一个音也可以是②的格式）。
一般用来描述前鼻音后后鼻音的尾音。
过渡率代表倒数第二个音转换成尾音的比例。
比如
g- 0.12 - 0.07
a 0.1
N 0.5 0.7
那么尾音就是30%的a 和 70%的N
取值范围在0到1之间

知道这些，你就可以自己改Script了，记得备份改好的Script。然后把原来的Script.txt替换掉，合成前千万记得勾选”不重新生成合成参数“，不然改好的Script就被抹掉了。。。

然后点”启动CyberVoice合成引擎“即可根据你改的Script合成。
[/hide]

后记——写在2013年3月24日很久没有上Vocaloid论坛了……
其实准确讲之前将近半年我一直在潜水，默默观看着大家的评论，真的很感动能有这么多人支持我呢……
可能宣传没做好，大家没有看到：我本来打算中止Rocaloid的开发，但最终我还是决定把Rocaloid继续下去。
新的版本叫Rocaloid Renaissance，即“Rocaloid的复兴”，预示着Rocaloid将凤凰涅槃。版本号是2.0（原定1.5）。
她有一个可爱的简称——RocaRena。
过去的半年里，我成立了RDG开发小组(Rocaloid Development Group)，在学校开设了Enigma社团，负责协助RocaRena的开发。
目前开发已经有了很可观的进展。

RocaRena的音源库较初代细化了5倍！目前已经产生4.8G，两万五千个文件的音源库数据（当然最终到用户手上的是提炼后的300MB）。
CVE引擎全面升级！Sleepwalking开发并完善了一种类PSOLA的算法，合成质量提高的前提下速度相比Vocaloid快了很多。新引擎版本号目前是1.6（初代为1.5）。
支持比Vocaloid还灵活的滑音和变调！
RocaRena将有自己的编辑器！
预计八月底发布。

下面写给对算法感兴趣的人：
关于Rocaloid的算法，以及上面提到的“类PSOLA”究竟是何物。。。事实上CVE是完全基于时域信号的处理，这也是由于当年开发者，我，的无知。

我数学功底薄弱，无法理解频域信号处理，全凭自己误打误撞设计出了Rocaloid的算法。没想到它还真管用了！（部分是吧）
两年后，也就是前段时间，我发现原来自己的这个算法和PSOLA如此相似（但不是接近，我承认她也许不及PSOLA）……我初步了解了PSOLA后，认识到其优越性，不得不佩服前辈思维的深远啊……
与PSOLA的区别是，CVE合成每个语音窗只有一个周期。PSOLA是基于重叠和叠加，CVE基于加权混合。因此CVE在变调方面只能用混合代替，好处是还原度高一些，速度略快（吧？）。
↑我可能没解释清楚。。。语文不好见谅
此外，我想……如果那天不干了，或者干不下去了，我就把Rocaloid开源好了。我最近在重新学习编程，我希望我能写出精炼、优雅和高尚的作品。

1 查看全部评分