一个多态仿gpt的模板尝试 使用pytorch框架完成一个多态的llm_gpt模型框架,处理用户的图形和文本输入并给出答复(仅需模型class部分) 简单给出示例定义即可
#创建一个用于记忆的模型,并标记每一个节点类似注意力机制的权重 -通过其他模型输入的内容来输出多层联想的内容 -对输入的图像和文字进行抽象为统一的结构和表达(比如词向量Word2Vec) -用于模拟大脑记忆过程 -io:4维的向量,表示[联想的层数][第几组数据][该组数据维度1][该组数据维度2]
#创建一个处理图形的模型,用于理解图像,使用多层cnn网络,并从记忆模型获取输入再输出同等大小的张量到记忆模型 -使用注意力机制 -在池化的过程中连接记忆模型,并计算记忆模型的权重 -先把图形输入抽象,后具体化(先卷积后反卷积) -这个模型将要用于图像理解和反推,以及几何的推导等理性内容 -io:4维的向量,表示[联想的层数][第几组数据][该组数据维度1][该组数据维度2]
#创建一个处理文本的模型,用于推理和表达,使用llm和lstm,并从记忆模型获取输入再输出同等大小的张量到记忆模型 -使用注意力机制 -在池化的过程中连接记忆模型,并计算记忆模型的权重 -接受图像和文本的混合抽象后的张量输入 -这个模型将要用于推理和预测、表达、理解等感性内容 -io:4维的向量,表示[联想的层数][第几组数据][该组数据维度1][该组数据维度2]
#创建一个主模型,允许图形(1080p,rgb)和文本输入到记忆网络,并决策调用文本和图形模型直到得到判别器认可的结果后输出合适的内容 -使用注意力机制,并维护记忆模型(遗忘使用率低的数据,增加使用率高的数据权重) -io:4维的向量,表示[联想的层数][第几组数据][该组数据维度1][该组数据维度2] -调用别的模型进行循序渐进的逐步求解,给与模型适合的来自记忆模型联想的输入
#创建主模型的判别器 -判断输出是否合适 -io:4维的向量,表示[联想的层数][第几组数据][该组数据维度1][该组数据维度2]