使用交互行为录制生成文本描述

[wanghaisheng]

Is your feature request related to a problem? Please describe.
A clear and concise description of what the problem is. Ex. I'm always frustrated when [...]

Describe the solution you'd like
A clear and concise description of what you want to happen.

Describe alternatives you've considered
A clear and concise description of any alternative solutions or features you've considered.

Additional context
Add any other context or screenshots about the feature request here.

进一步降低非开发人员的上手成本
在web端可以实现一次录制 多次调用

https://github.com/DeploySentinel/Recorder
https://github.com/checkly/headless-recorder

问题是移动端怎么做？抛开css selector xpath定位的 纯视觉的定位应该可以直接用？

[wanghaisheng]

为了进一步阐述这个问题我找到了之前看到过的一篇文章

https://p1.meituan.net/travelcube/9057abecf84a106b05540f0ce656322948582.png
如上图所示，我们提供给产品运营同学的交互仅有：录制、编辑、预览、发布等四个步骤，当产品运营同学需要在业务模块上线引导时，只需拟定一个剧本，然后四步即可完成这个“需求”，整个流程几乎不需要研发和设计同学的参与。

在具体的执行方案中，我们对剧本引导进行了模板化的设计编排，将每个引导动作抽象成一个事件，多个事件组合形成一个剧本。同时为保证不同终端的兼容性，我们设计了一套标准且易扩展的协议描述剧本元素，运行时 PC 管理后台和 App 可自动将剧本解析成可执行的事件（如坐标点击、页面导航、语音播放等）

flybirds 现在应该是还未实现页面导航 语音播放

https://tech.meituan.com/2022/04/07/waimai-application-scripted-guidance.html

[wanghaisheng]

https://github.com/wanghaisheng/flybirds-gpt/blob/main/README.md