什么是 XLNet 中的双流自注意力
理解 XLNet 中的双流自注意力机制。 我相信对XLNet有一个直观的理解远比实现细节重要，所以我只解释了重排列语言建模，而没有提到另一个重要的部分，双流自注意力架构。 但正如陈家明在评论中提到的，双流自注意力是XLNet论文的另一个亮点，所以我写这篇文章是为了尽可能清楚地解释双流自注意力。相对位置编码 Transformer 的一个理论缺陷与对策
本文分析了相对位置编码Transformer的一个隐含缺陷，并探讨了相应的对策，从中引申出关于Attention矩阵的非负性、归一化方式的思考。八年之痒！除了 NLP 和 CV，人工智能就不能干点别的啥了？
除去自然语言处理和计算机视觉两大领域，我们还有太多领域可以开拓。 事实证明，几乎所有现代AI研究和工业应用都聚焦于两个子领域中的十几个技术问题：计算机视觉和自然语言处理。 我们可以使用倒金字塔为AI世界建模。每个较低的层级都启发较高的级别模式，对其进行具象化并在某种意义上对其进行定义。 最底层是非常深入的基础科学和技术。它涉及对神经网络，算法优化，统计属性以及这些工具的概率性质的理论理解。 中间存在一个技术层面的问题。这就是我前面提到的十几个技术子问题。 中间层的界限取决于理论科学底层的发展状况。解决计算机视觉和 NLP 的技术问题是一条非常可靠，可预测和安全的途径。 在这些领域有很多研究小组，初创公司和知名公司。 专门研究计算机视觉或NLP还可以确保你接触到前沿的工具，包括数据集，GPU 技术，框架，以及大量的开源存储库等，这些储存库囊括了示例，库，基准测试和其他有用的资源。 好的工具可以减轻我们的工作负担并提高生产力，这也许可以解释为什么 AI 人才在这两个特定领域中聚集。
另一方面，创造自己的用于天文学，遗传学，化学，材料科学，地球科学或经济学的 AI 工具箱是一项充满挑战，甚至偶尔令人沮丧的孤独旅程，你只能依靠自己和你的团队。 但是，它可以使整个领域收益，足以建立另一个十亿美元级别的公司或一个研究机构。
目前，人类面临着许多至关重要但尚未解决的问题。 对于其中的许多问题来说，那些勇敢的先驱们已经收集了多到无法分析的大量数据。 他们的目的很简单，收集数据并继续前进。 这些数据就在那里，等着人们去发现它的价值，但是有时这需要花费数年的时间。 这些问题中还有许多仍未得到解答，因为它们被证明是无法明确解决的。 但是，人工智能技术也因此而闻名，因为它能够学习如何破解无法解决的问题。
远离拥挤的人潮，静坐冥思，你会发现整个世界都被 AI 社区所忽视了。 这个世界等待了数十年，翘首以盼那些 AI 先驱的到来。 没有地图，没有线索，它们只把自身的价值送给那些勇于探索并一往无前的人。