ChatGPT背后的语言模型简史 · BMPI

[giscus[bot]]

ChatGPT背后的语言模型简史 · BMPI

ChatGPT的火爆出圈，让大家对NLP语言模型的发展历程产生了浓厚的兴趣。本文将从深度学习在NLP领域的发展历程，到大语言模型的发展历程，再到大语言模型的未来展望，带你一起了解NLP语言模型的发展历史。

https://www.bmpi.dev/dev/deep-learning/nlp-language-models/

[hurner]

这么多的信息量，这些公式，每篇文章都感叹博主的知识涉猎之深

[laohehe]

不可思议

[Wizard23333]

很好文章，感谢博主分享

[madawei2699]

[madawei2699]

可供商用的开源LLM模型：https://github.com/eugeneyan/open-llms

[madawei2699]

近期好文：

• 通过Fine-turning微调模型，可以达到更低成本更精准的效果：https://github.com/openai/openai-cookbook/blob/main/examples/Fine-tuned_classification.ipynb
• 问答类问题更适合Embedding而非Fine-turning的方式：https://github.com/openai/openai-cookbook/blob/main/examples/Question_answering_using_embeddings.ipynb
• LLM agent：https://github.com/openai/openai-cookbook/blob/main/examples/How_to_build_a_tool-using_agent_with_Langchain.ipynb
• 多类分类问题：https://github.com/openai/openai-cookbook/blob/main/examples/Multiclass_classification_for_transactions.ipynb
• Embedding的可视化：https://github.com/openai/openai-cookbook/blob/main/examples/Visualizing_embeddings_in_3D.ipynb

[madawei2699]

生成式AI的技术实践与商业未来：https://mp.weixin.qq.com/s/p7-2IJPeXNYrV3jZhBLsBg

[madawei2699]

AI Agent: https://mp.weixin.qq.com/s/Jb8HBbaKYXXxTSQOBsP5Wg

[madawei2699]

可视化展示生成式AI的背后技术：https://ig.ft.com/generative-ai/

[madawei2699]

读库2303第一篇《达特茅斯之饼》里面一些观点挺有意思：

• 语言并不是智能，是智能的载体，从语言中学习到的智能是智能吗？
• 目前的人工智能，当然现在叫深度学习，只是在应用层面做出了一些突破，但并没有在理论层面形成统一的解释，所以我们现在深处的人工智能时代可能是非常早期的。
• 未来的突破可能在于人工智能在理论层面的突破，比如出现像牛顿三大定律之类的从数学层面的理论支持。

[madawei2699]

关于GPT4技术架构的猜想：https://twitter.com/fi56622380/status/1671411447723851776

[madawei2699]

在苹果M2 Ultra芯片单机版跑大语言模型：https://youtu.be/UsfmqTb2NVY

[madawei2699]

Transformer模型可视化：

• https://bbycroft.net/llm
• https://poloclub.github.io/transformer-explainer/