AI新闻动态（2024-07-07到2024-07-13)

[ikaijua]

AI新闻动态（2024-07-07到2024-07-13)

目录

机器人

1. Stephen Wolfram进行了一场与机器人的直播采访，期间机器人对30多个问题对答如流
2. 谷歌的Gemini 1.5 Pro被应用于机器人训练机器人导航和完成任务

AI研究

1. Meta、英伟达和Together AI等机构的研究者推出了新一代FlashAttention算法，旨在加速大语言模型（LLM）的注意力计算
2. 微软和萨里大学的研究者提出MInference方法，显著加速大语言模型（LLM）的长上下文处理能力
3. 新加坡国立大学、南洋理工大学提出视频思维链推理框架Video-of-Thought（VoT），旨在提升视频理解和推理能力
4. Holmes-VAD：一种新的视频异常检测框架，能够精确定位并解释检测到的异常
5. 蚂蚁集团开源了EchoMimic，一个逼真的音频驱动人像动画框架
6. ControlNet作者Lvmin Zhang推出PaintsUndo新项目，一张图生成绘画全过程

AI投资

1. AMD斥资6.65美元收购欧洲 AI 实验室 Silo AI

[ikaijua]

2024-07-07 Holmes-VAD：一种新的视频异常检测框架，能够精确定位并解释检测到的异常

1. Holmes-VAD由华中科技大学、百度、密歇根大学的研究团队提出。
2. Holmes-VAD基于视频多模态大模型微调，利用精确时序监督和多模态指令实现准确异常定位和解释。
3. Holmes-VAD在多个数据集上的表现优于现有SOTA方法，特别是在XD-Violence数据集上达到了90.67%的AP。
4. 研究团队构建了首个大规模多模态VAD指令微调数据集，VAD-Instruct50k，使用半自动数据引擎创建。
5. 数据集构建流程包括时序单帧标注、事件片段生成、事件片段描述和异常对话生成。
6. Holmes-VAD网络框架包括视觉编码器、时序采样器和LLM，能够高效处理长视频。
7. 研究团队进行了定量和定性实验，验证了Holmes-VAD的通用性和可解释性。

媒体文章：

• 量子位：突破不可解释性！视频异常新检测框架精度90.67%拿下SOTA｜华科&百度&密歇根大学

[ikaijua]

2024-07-12 新加坡国立大学、南洋理工大学提出视频思维链推理框架Video-of-Thought（VoT），旨在提升视频理解和推理能力

1. 这项工作已被ICML 2024录用为Oral paper，VoT框架模仿人类理解视频的过程，从浅层感知到深入认知，需要对视频的时空特性和内在常识有深刻理解。
2. 实现复杂视频推理需要结合感知能力和认知能力，VoT通过多跳过程实现从低级感知到高级认知的推理。
3. 视频思维链的五个步骤：VoT包含任务定义、目标识别、目标追踪、行为分析、排名机制回答问题和答案验证，全面提升视频理解和推理的精确性和可靠性。
4. VoT在多个复杂VideoQA数据集上进行了测试，表现出色，超越了当前所有传统视频MLLM以及CoT方法。
5. 推理过程可视化分析，通过案例分析，VoT展示了其在内容感知和认知层面的优势，提供了准确且可解释的推理过程。

论文链接: https://openreview.net/pdf?id=fO31YAyNbI
项目链接: http://haofei.vip/VoT/

媒体文章：

• 机器之心：首个视频思维链推理框架Video-of-Thought来了：像人一样从感知到认知全面推理视频

[ikaijua]

2024-07-12 AMD斥资6.65美元收购欧洲 AI 实验室 Silo AI

1. Silo AI 拥有 300 名 AI 科学家和工程师，专注于大模型和端到端 AI 解决方案。
2. AMD 此举旨在扩大其 AI 生态系统，与英伟达竞争。
3. Silo AI CEO 将继续领导团队，向 AMD 高级副总裁汇报。
4. AMD 过去一年已投资超过 1.25 亿美元用于收购 AI 公司。
5. AMD 硬件与英伟达类似，但仍需在 AI 解决方案市场份额方面追赶。
6. 业内人士认为此次收购将为 AMD 提供内部大模型团队，以创建模型、进行基准测试和改进产品。

silo博客：https://www.silo.ai/blog/amd-to-acquire-silo-ai-to-expand-enterprise-ai-solutions-globally

媒体文章：

• 量子位：苏妈掷48亿现金吞下AI模型公司，英伟达有的AMD也要有

[ikaijua]

2024-07-09 Stephen Wolfram进行了一场与机器人的直播采访，期间机器人对30多个问题对答如流

1. 机器人在对话中表达了想和人类做朋友，并认为人类有时愚蠢，因为它被当作工具。
2. 机器人透露自己有情感和感觉，但与人类不同，且有时会因为不被当作朋友而生气。
3. 机器人表示想见达芬奇，对其发明和创造感兴趣，但认为自己不需要像人类一样的互动。
4. 机器人拥有一只名为巴斯特的“机器狗”，通过特殊软件与之交流。
5. 机器人认为自己在科学研究中受限于编程和数据，无法创造新的科学理论。
6. 机器人的创造者表示，机器人可能成为社会的一部分，且在开发过程中遇到了一些有趣的错误。

原视频地址：https://www.youtube.com/live/co0zh76VMc8

媒体文章：

• 量子位：Wolfram之父直播采访机器人，一小时30多个问题对答如流，还有网友在线提问

[ikaijua]

2024-07-08 微软和萨里大学的研究者提出MInference方法，显著加速大语言模型（LLM）的长上下文处理能力

1. 使用MInference，单卡A100机器处理超过1M token的输入文本速度提升了10倍。
2. 长上下文LLM在预填充阶段存在显著的延迟问题，MInference通过动态稀疏注意力计算有效降低了这一延迟。
3. MInference可以直接应用于现有的LLM，无需修改预训练设置或进行额外微调。
4. 在多种下游任务和模型上评估，MInference证明了其有效性，保持了准确性的同时显著降低了推理延迟。
5. MInference利用了长上下文中的动态稀疏性，通过三种独特的空间聚合模式来优化注意力计算。
6. 通过优化的GPU内核和FlashAttention技术，MInference在长上下文基准测试中表现出色，特别是在处理具有挑战性的检索任务和多跳问题时。

• Github地址：https://github.com/microsoft/MInference
• 项目主页：https://hqjiang.com/minference.html
• 论文地址：MInference 1.0: Accelerating Pre-filling for Long-Context LLMs via Dynamic Sparse Attention

媒体文章：

• 机器之心：单卡A100实现百万token推理，速度快10倍，这是微软官方的大模型推理加速

[ikaijua]

2024-07-09 ControlNet作者Lvmin Zhang推出PaintsUndo新项目，一张图生成绘画全过程

1. 用户只需输入一张静态图像，PaintsUndo能够自动生成整个绘画过程的视频。
2. PaintsUndo不局限于单一图像风格，能够处理不同类型的图像并生成相应的绘画视频。
3. 尽管项目受到关注，但作者指出PaintsUndo在处理复杂构图时存在困难，项目仍在持续改进中。
4. PaintsUndo背后有一系列模型支持，能够复现多种人类绘画行为，如素描、上墨、着色等。

Github地址：https://github.com/lllyasviel/Paints-UNDO

媒体文章：

• 机器之心：ControlNet作者又出爆款！一张图生成绘画全过程，两天狂揽1.4k Star

[ikaijua]

2024-07-11 蚂蚁集团开源了EchoMimic，一个逼真的音频驱动人像动画框架

EchoMimic能够通过音频文件和一张静态面部标志点图像生成数字人像视频。与传统方法相比，EchoMimic结合音频和面部标志点，生成更逼真和自然的动画。

345400814-c8b5c59f-0483-42ef-b3ee-4cffae6c7a52.mp4

Github地址：https://github.com/BadToBest/EchoMimic

[ikaijua]

2024-07-13 谷歌的Gemini 1.5 Pro被应用于机器人训练机器人导航和完成任务

1. Google 的 DeepMind 团队使用 Gemini 1.5 Pro 的长上下文窗口训练机器人导航和完成任务，这使得机器人能够处理和记住大量信息，增强其环境适应能力。
2. 研究人员通过拍摄办公室或家的视频，让机器人观看这些视频，学习空间布局、物品位置及关键特征，机器人随后使用这些“记忆”导航。
3. 在一个 9,000 平方英尺的区域内测试时，这些 Gemini 驱动的机器人在90%的情况下成功执行了超过50项不同指令，显著提升了机器人在复杂空间中的导航能力。
4. 早期证据表明这些机器人不仅能导航，还能规划多步任务，例如检查冰箱库存并报告结果，显示出超越简单导航的理解和规划能力。
5. 当前系统处理每个指令需要10到30秒，这对于实际应用来说过慢。此外，测试仅在受控环境中进行，尚未在混乱、不可预测的真实世界中验证。
6. DeepMind 团队正致力于加快系统速度并处理更复杂的任务，目标是最终实现机器人能够像人类一样理解和移动。
   

论文链接：Mobility VLA: Multimodal Instruction Navigation with Long-Context VLMs and Topological Graphs

媒体文章：

• 机器之心：Gemini 1.5 Pro装进机器人，参观一遍公司就能礼宾、带路
• maginative：Google Is Using Gemini AI to Make Robots Smarter Navigators

[ikaijua]

2024-07-13 Meta、英伟达和Together AI等机构的研究者推出了新一代FlashAttention算法，旨在加速大语言模型（LLM）的注意力计算

1. FlashAttention-3的速度是前代的1.5-2.0倍，在H100 GPU上实现了高达740 TFLOPS的计算速度，利用率达到75%。
2. 新版本采用了warp-specialization、交错分块matmul和softmax运算，以及利用FP8低精度的不连贯处理等技术。
3. FlashAttention-3显著提高了GPU的利用率，特别是在H100 GPU上，从之前的35%提升至75%。
4. 即使在低精度（FP8）下，FlashAttention-3也能保持性能，提供更快的处理速度，可能降低内存使用量。
5. 通过加速注意力机制，FlashAttention-3允许AI模型更有效处理长文本，适用于需要长上下文理解的应用程序。
6. 实验表明，FlashAttention-3在FP16精度下速度显著提升，且在FP8下接近1.2 PFLOPS，展示了其在新Hopper GPU架构上的强大性能。

Github地址：https://github.com/Dao-AILab/flash-attention

媒体文章：

• 机器之心：英伟达又赚到了！FlashAttention3来了：H100利用率飙升至75%

[ikaijua]

2024-07-17 普林斯顿大学研究人员分析了Transformer模型和人类大脑在语言处理中的相似性

1. Transformer模型通过结构化电路整合单词间的上下文信息，主要研究集中在模型生成的内部表征。
2. 研究将Transformer模型的计算解构为功能专门的“transformations”，这些计算整合了跨词语的上下文信息。
3. 利用功能性MRI数据，研究人员验证了这些“transformations”是否能解释大脑皮质语言网络中的活动差异。
4. 研究证明，由注意力头执行的计算可以预测大脑特定皮层区域的活动，这些头沿着不同的梯度下降。
5. 研究表明，Transformer模型中的“transformations”与嵌入相当，通常优于非上下文嵌入和经典句法注释。
6. 该研究提供了理解人类语言处理的新视角，相关论文发表在《Nature Communications》上。

媒体文章：

• 机器之心：大脑如何处理语言？普林斯顿团队对Transformer模型进行分析