本周相對來說比較平淡，更多的廠家進入了 LLM 賽道，Google 在產品上努力追趕 OpenAI，SnapChat 公開了自己的聊天 AI BOT。
下面讓我回顧一下上一周的 AI 大新聞。
4 月 17 日
昆侖萬維推出千億級大語言模型 "天工" 並開始內測。
由昆侖萬維與 AI 團隊奇點智源合作研發的 "天工" 是一個與 ChatGPT 相媲美的雙千億級大型語言模型，同時也是昆侖萬維繼 AI 繪畫產品 "天工巧繪" 之後的又一款創新生成式 AI 產品。昆侖萬維在 2022 年 12 月發布了 AIGC 全系列算法與模型，涵蓋了圖像、音樂、文本、編程等多模態 AI 內容生成能力。據昆侖萬維表示，"天工" 的當前版本最高支持 1 萬字以上的文本對話，能實現 20 輪次以上的用戶交互。
據稱整個項目已投入數億元人民幣，組建了數百人的研發團隊，未來將繼續加大投入。
內測地址：
4 月 18 日
Meta 發布 DinoV2。
DINOv2 是一種新的用於訓練具有自監督的高性能計算機視覺模型（自監督是指模型從沒有標記的數據中學習，而不需要人類的註釋）。DINOv2 在幾個計算機視覺基準上取得了最優異的結果，如圖像分類、物體檢測和分割，這是由於 DINOv2 基於一種新穎的對比學習方法，鼓勵模型關注圖像的突出區域而忽略背景。它可以從任何圖像集合中學習，不需要針對不同的任務進行微調。
演示地址：https://dinov2.metademolab.com/
論文：https://arxiv.org/abs/2304.07193
GITHUB：https://github.com/facebookresearch/dinov2
4 月 19 日
https://twitter.com/_akhaliq/status/1650308865555148800?s=20
Aydar Bulatov 等人發布了一種利用 RMT 將 Transformer 擴展到 100 萬 + token 的技術。
該技術報告介紹了應用遞歸存儲器來擴展 BERT 的上下文長度，BERT 是自然語言處理中最有效的基於 Transformer 的模型之一。通過利用遞歸記憶轉換器架構，他們成功地將該模型的有效語境長度增加到了前所未有的 200 萬條，同時保持了較高的記憶檢索精度。該方法允許存儲和處理局部和全局信息，並通過使用遞歸法使信息在輸入序列的各段之間流動。
在推理過程中，該模型有效地利用了總長度為 2,048,000 tokens 的 4,096 個片段的內存 -- 大大超過了報告的轉換器模型的最大輸入大小（CoLT5 的 64K tokens，以及 GPT-4 的 32K tokens）。在他們的實驗中，這種增強使基本模型的內存大小保持在 3.6GB。
論文地址：https://arxiv.org/abs/2304.11062
GITHUB：https://github.com/booydar/t5-experiments/tree/scaling-report
4 月 20 日
著名產圖工具 Stable Diffusion 的廠商 Stability-AI 宣布他們也搞了個 LLM--StableLM。這是一個可以在不同領域和任務中產生穩定和一致的文本的語言模型。Alpha 版本有 30 億和 70 億個參數但性很好（GPT-3 有 1750 億個參數），後續還有 150 億到 650 億個參數的模型。 "開發者可以自由檢查、使用和改編我們的 StableLM 基礎模型，用於商業或研究目的，但必須遵守 CC BY-SA-4.0 許可證的條款"（需要注意的一點是，Base Model 雖然是 Creative Commons license，但 Fine-tuned 是 Non-Commercial Creative Commons license，即無法商用。）。
GITHUB: https://github.com/stability-AI/stableLM/
同日，Snapchat 向全球所有用戶推出了人工智能聊天機器人功能。
這個名為 Snapbot 的聊天機器人允許用戶與一個人工智能代理進行對話，它可以回答問題、講笑話、玩遊戲和發送快照。Snapbot 還可以從用戶的喜好和行為中學習，並會根據用戶的興趣偶爾發送快照給用戶。Snapchat 聲稱，Snapbot 不是為了取代人與人之間的互動，而是為了加強人與人之間的互動，使其更加有趣和吸引人。Snapbot 由一個深度神經網絡驅動，可以生成自然語言回應和圖像。Snapchat 稱，Snapbot 符合隱私和數據保護法，用戶可以在任何時候選擇退出該功能。
4 月 21 日
Google 的 AI Bard 開放寫代碼能力，支持 20 種語言，並且可以 Debug。
同日，復旦大學自然語言處理實驗室推出了全新的 MOSS 模型，成為國內首個插件增強型類 ChatGPT 開源大型語言模型。
MOSS 是一款支持中英雙語及多種插件的開源對話語言模型。moss-moon 系列模型擁有 1600 億參數，在 FP16 精度下可在單張 A100/A800 或兩張 3090 顯卡上運行；在 INT4/8 精度下，可在單張 3090 顯卡上運行。MOSS 基座語言模型在約七千億中英文以及代碼單詞上預訓練得到，後續經過對話指令微調、插件增強學習和人類偏好訓練具備多輪對話能力及使用多種插件的能力。
MOSS 模型源自復旦大學自然語言處理實驗室的邱錫鵬教授團隊，其名稱來源於電影《流浪地球》中的 AI。
GITHUB：https://github.com/OpenLMLab/MOSS
如果這篇有幫助，請訂閱轉發，也可以 fo 我的推特。我將帶給你更多關於 Web3，Layer2，AI，以及日本相關咨詢：
