Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

添加一键部署到阿里云函数计算的链接 #1121

Open
wants to merge 2 commits into
base: main
Choose a base branch
from

Conversation

zxypro1
Copy link

@zxypro1 zxypro1 commented May 23, 2024

基于原项目制作了一个阿里云函数计算的应用模版,可以实现:

  1. 一键部署到阿里云函数计算。
  2. 直接通过免费域名访问WebUI和API服务。
  3. 按用计费,用了多少就花多少钱,摆脱按小时租gpu的时间浪费。
  4. 训练的模型自动放在NAS,方便保存和下载。

代码上的修改主要是:

  1. 大改了页面逻辑,把所有页面放在一起。
  2. 简化训练流程,只需点点点。
  3. 加了些模版参考音频,能快速生成。
  4. 加入对阿里云NAS的支持。
  5. API服务能指定模型(要放到NAS内)

修改后代码在:
https://github.com/zxypro1/GPT-SoVITS
阿里云和Serverless Devs部署用的应用模版IaC文件在:
https://github.com/devsapp/fc-gpt-sovits

文档

https://www.yuque.com/zxypro/mnayfw/nt5pdxbuukpzfos1

截图

TTS推理:
截屏2024-05-23 15 58 56
数据预处理:
截屏2024-05-23 15 59 06
数据校对:
截屏2024-05-23 15 59 14
微调:
截屏2024-05-23 15 59 21

@Downupanddownup
Copy link
Contributor

放在本地做推理不太灵活,不知道阿里云这个按用计费价格贵不贵?

@zxypro1
Copy link
Author

zxypro1 commented May 27, 2024

计费挺复杂的,我自己测试的推理生成1万字的语音要8毛左右。训练因为用时短很便宜,不花什么钱。主要还是看怎么用吧。

@Downupanddownup
Copy link
Contributor

计费挺复杂的,我自己测试的推理生成1万字的语音要8毛左右。训练因为用时短很便宜,不花什么钱。主要还是看怎么用吧。

那还行,个人偶尔用用的话,是不怎么花钱

@GeneralK1ng
Copy link

API调用公网无法访问,请问请求方式或者有什么需要配置的吗?
使用的是函数名__api下触发器的公网访问地址,使用post和get都尝试了,均返回400
并且发现也给函数名__api也创建了NAS,这个貌似没什么用?不知道是干什么的希望得到解答
感谢

@zxypro1
Copy link
Author

zxypro1 commented Jun 1, 2024

API调用公网无法访问,请问请求方式或者有什么需要配置的吗? 使用的是函数名__api下触发器的公网访问地址,使用post和get都尝试了,均返回400 并且发现也给函数名__api也创建了NAS,这个貌似没什么用?不知道是干什么的希望得到解答 感谢

是不是参考音频的路径没配置?需要是/mnt/函数名/xxx。而且endpoint是/tts。
API需要从NAS读取参考音频,而且也支持从NAS读取自定义的模型。

@GeneralK1ng
Copy link

API调用公网无法访问,请问请求方式或者有什么需要配置的吗? 使用的是函数名__api下触发器的公网访问地址,使用post和get都尝试了,均返回400 并且发现也给函数名__api也创建了NAS,这个貌似没什么用?不知道是干什么的希望得到解答 感谢

是不是参考音频的路径没配置?需要是/mnt/函数名/xxx

是的,排查了一下,参考音频配置需要配置到api对应的NAS内,我之前配置的是webui的,现在已经解决。
然后就是发现接口有一个暖机现象,就是如果许久未请求之后的第一次请求往往会超时,然后下一次请求速度就能上来。
感觉应该是aly的问题?或者说还是正常现象

@zxypro1
Copy link
Author

zxypro1 commented Jun 1, 2024

API调用公网无法访问,请问请求方式或者有什么需要配置的吗? 使用的是函数名__api下触发器的公网访问地址,使用post和get都尝试了,均返回400 并且发现也给函数名__api也创建了NAS,这个貌似没什么用?不知道是干什么的希望得到解答 感谢

是不是参考音频的路径没配置?需要是/mnt/函数名/xxx

是的,排查了一下,参考音频配置需要配置到api对应的NAS内,我之前配置的是webui的,现在已经解决。
然后就是发现接口有一个暖机现象,就是如果许久未请求之后的第一次请求往往会超时,然后下一次请求速度就能上来。
感觉应该是aly的问题?或者说还是正常现象

这个是fc的冷启动特性决定的,超过5-10分钟不调用实例会被释放。也是便宜的原因吧

@GeneralK1ng
Copy link

API调用公网无法访问,请问请求方式或者有什么需要配置的吗? 使用的是函数名__api下触发器的公网访问地址,使用post和get都尝试了,均返回400 并且发现也给函数名__api也创建了NAS,这个貌似没什么用?不知道是干什么的希望得到解答 感谢

是不是参考音频的路径没配置?需要是/mnt/函数名/xxx

是的,排查了一下,参考音频配置需要配置到api对应的NAS内,我之前配置的是webui的,现在已经解决。
然后就是发现接口有一个暖机现象,就是如果许久未请求之后的第一次请求往往会超时,然后下一次请求速度就能上来。
感觉应该是aly的问题?或者说还是正常现象

这个是fc的冷启动特性决定的,超过5-10分钟不调用实例会被释放。也是便宜的原因吧

了解了,感谢

@lanlve
Copy link

lanlve commented Jun 5, 2024

为什么在NAS里上传训练好的模型,在推理界面选择好模型,也是用的相应的参考音频和参考文本,但是最后选择的模型不起作用,生成的语音是通过底模产生的?

@zxypro1
Copy link
Author

zxypro1 commented Jun 5, 2024

为什么在NAS里上传训练好的模型,在推理界面选择好模型,也是用的相应的参考音频和参考文本,但是最后选择的模型不起作用,生成的语音是通过底模产生的?

镜像代码有bug,正在修复

@zxypro1
Copy link
Author

zxypro1 commented Jun 6, 2024

为什么在NAS里上传训练好的模型,在推理界面选择好模型,也是用的相应的参考音频和参考文本,但是最后选择的模型不起作用,生成的语音是通过底模产生的?

修好了,重新用链接部署一个新应用就可以了

@Downupanddownup
Copy link
Contributor

请问下怎么在NAS中上传模型呢?是不是需要先编写一个FC的python下载函数,将其挂载到NAS,然后利用这个下载函数,从指定服务器上,比如阿里云盘,将模型下载过来,写入NAS?

@zxypro1
Copy link
Author

zxypro1 commented Jun 19, 2024

请问下怎么在NAS中上传模型呢?是不是需要先编写一个FC的python下载函数,将其挂载到NAS,然后利用这个下载函数,从指定服务器上,比如阿里云盘,将模型下载过来,写入NAS?

NAS有一个内置的浏览器功能,比较方便。已经在文档中更新了。

@Downupanddownup
Copy link
Contributor

请问下怎么在NAS中上传模型呢?是不是需要先编写一个FC的python下载函数,将其挂载到NAS,然后利用这个下载函数,从指定服务器上,比如阿里云盘,将模型下载过来,写入NAS?

NAS有一个内置的浏览器功能,比较方便。已经在文档中更新了。

多谢!

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

4 participants