本周相对来说比较平淡，更多的厂家进入了 LLM 赛道，Google 在产品上努力追赶 OpenAI，SnapChat 公开了自己的聊天 AI BOT。
下面让我回顾一下上一周的 AI 大新闻。
4 月 17 日
昆仑万维推出千亿级大语言模型 “天工” 并开始内测。
由昆仑万维与 AI 团队奇点智源合作研发的 “天工” 是一个与 ChatGPT 相媲美的双千亿级大型语言模型，同时也是昆仑万维继 AI 绘画产品 “天工巧绘” 之后的又一款创新生成式 AI 产品。昆仑万维在 2022 年 12 月发布了 AIGC 全系列算法与模型，涵盖了图像、音乐、文本、编程等多模态 AI 内容生成能力。据昆仑万维表示，“天工” 的当前版本最高支持 1 万字以上的文本对话，能实现 20 轮次以上的用户交互。
据称整个项目已投入数亿元人民币，组建了数百人的研发团队，未来将继续加大投入。
内测地址：
4 月 18 日
Meta 发布 DinoV2。
DINOv2 是一种新的用于训练具有自监督的高性能计算机视觉模型（自监督是指模型从没有标记的数据中学习，而不需要人类的注释）。DINOv2 在几个计算机视觉基准上取得了最优异的结果，如图像分类、物体检测和分割，这是由于 DINOv2 基于一种新颖的对比学习方法，鼓励模型关注图像的突出区域而忽略背景。它可以从任何图像集合中学习，不需要针对不同的任务进行微调。
演示地址：https://dinov2.metademolab.com/
论文：https://arxiv.org/abs/2304.07193
GITHUB：https://github.com/facebookresearch/dinov2
4 月 19 日
https://twitter.com/_akhaliq/status/1650308865555148800?s=20
Aydar Bulatov 等人发布了一种利用 RMT 将 Transformer 扩展到 100 万 + token 的技术。
该技术报告介绍了应用递归存储器来扩展 BERT 的上下文长度，BERT 是自然语言处理中最有效的基于 Transformer 的模型之一。通过利用递归记忆转化器架构，他们成功地将该模型的有效语境长度增加到了前所未有的 200 万条，同时保持了较高的记忆检索精度。该方法允许存储和处理局部和全局信息，并通过使用递归法使信息在输入序列的各段之间流动。
在推理过程中，该模型有效地利用了总长度为 2,048,000 tokens 的 4,096 个片段的内存 -- 大大超过了报告的转化器模型的最大输入大小（CoLT5 的 64K tokens，以及 GPT-4 的 32K tokens）。在他们的实验中，这种增强使基本模型的内存大小保持在 3.6GB。
论文地址：https://arxiv.org/abs/2304.11062
GITHUB：https://github.com/booydar/t5-experiments/tree/scaling-report
4 月 20 日
著名产图工具 Stable Diffusion 的厂商 Stability-AI 宣布他们也搞了个 LLM--StableLM。这是一个可以在不同领域和任务中产生稳定和一致的文本的语言模型。Alpha 版本有 30 亿和 70 亿个参数但性很好（GPT-3 有 1750 亿个参数），后续还有 150 亿到 650 亿个参数的模型。 “开发者可以自由检查、使用和改编我们的 StableLM 基础模型，用于商业或研究目的，但必须遵守 CC BY-SA-4.0 许可证的条款”（需要注意的一点是，Base Model 虽然是 Creative Commons license，但 Fine-tuned 是 Non-Commercial Creative Commons license，即无法商用。）。
GITHUB: https://github.com/stability-AI/stableLM/
同日，Snapchat 向全球所有用户推出了人工智能聊天机器人功能。
这个名为 Snapbot 的聊天机器人允许用户与一个人工智能代理进行对话，它可以回答问题、讲笑话、玩游戏和发送快照。Snapbot 还可以从用户的喜好和行为中学习，并会根据用户的兴趣偶尔发送快照给用户。Snapchat 声称，Snapbot 不是为了取代人与人之间的互动，而是为了加强人与人之间的互动，使其更加有趣和吸引人。Snapbot 由一个深度神经网络驱动，可以生成自然语言回应和图像。Snapchat 称，Snapbot 符合隐私和数据保护法，用户可以在任何时候选择退出该功能。
4 月 21 日
Google 的 AI Bard 开放写代码能力，支持 20 种语言，并且可以 Debug。
同日，复旦大学自然语言处理实验室推出了全新的 MOSS 模型，成为国内首个插件增强型类 ChatGPT 开源大型语言模型。
MOSS 是一款支持中英双语及多种插件的开源对话语言模型。moss-moon 系列模型拥有 1600 亿参数，在 FP16 精度下可在单张 A100/A800 或两张 3090 显卡上运行；在 INT4/8 精度下，可在单张 3090 显卡上运行。MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。
MOSS 模型源自复旦大学自然语言处理实验室的邱锡鹏教授团队，其名称来源于电影《流浪地球》中的 AI。
GITHUB：https://github.com/OpenLMLab/MOSS
如果这篇有帮助，请订阅转发，也可以 fo 我的推特。我将带给你更多关于 Web3，Layer2，AI，以及日本相关咨询：
