1.大模型动态

1.1 阿里云推出适配开源大模型的 AI Agent 开发框架 ModelScope-Agent 

阿里云 旗下的AI 模型社区魔搭（ModelScope）推出适配开源大模型的AI Agent 开发框架 ModelScope-Agent。此前，魔搭已用该框架搭建了 ModeScopeGPT，通过自然语言与用户交互、接受用户指令，通过通义千问调用社区众多的API，自主完成人类布置的任务。ModeScopeGPT 调用量已超 25 万。

ModelScope-Agent是一个通用的、可定制的Agent框架，用于实际应用程序，其基于开源的大语言模型 (LLMs) 作为核心。它提供了一个用户友好的系统库， 具有以下特点：

• 可定制且功能全面的框架：提供可定制的引擎设计，涵盖了数据收集、工具检索、工具注册、存储管理、定制模型训练和实际应用等功能，可用于快速实现实际场景中的应用。
• 开源LLMs作为核心组件：支持在 ModelScope 社区的多个开源LLMs上进行模型训练。
• 多样化且全面的API：以统一的方式实现与模型API和常见的功能API的无缝集成。

1.2 OpenAI发布教师使用ChatGPT指南 

OpenAI 发布 ChatGPT 课堂教学使用指南，包括提示词建议、实际用例、技术原理、局限性和偏见。

• 角色扮演挑战性的对话: Dr. Helen Crompton建议学生使用ChatGPT作为特定角色，如辩论伙伴、招聘者或新上司，以帮助学生更深入地理解材料。
• 从课程材料中创建测验、测试和教学计划: Fran Bellas建议教师使用ChatGPT作为助手来制定测验、考试和课程计划。
• 为非英语说话者减少摩擦: Dr. Anthony Kaziboni鼓励他的学生使用ChatGPT进行翻译帮助，提高他们的英语写作能力，并进行对话练习。
• 教学生关于批判性思维: Geetha Venugopal建议学生批判性地思考ChatGPT给出的答案，并通过其他主要资源确认信息。
• 开始使用的示例提示: Ethan Mollick和Lilach Mollick提供了一些教育者可以使用的提示，如制定教学计划、创建有效的解释、示例和类比，以及帮助学生通过教学学习。

1.3 Falcon1800 亿参数大模型开源 

阿布扎比全球领先技术研究中心 TII 开源 1800 亿参数大模型 Falcon。其为 Falcon 40B 的升级版本，在超过 3.5 万亿 Tokens 的 RefinedWeb  数据集上训练（大约占85%）。Falcon 在 Huggingface 开源大模型榜单上评分已超过 Llama 2，排名第一，可免费商用。同时 TII 还发布了聊天对话模型Falcon-180B-Chat 。（Huggingface blog ｜新智元 ）

从表现能力上来看，Falcon 180B 在自然语言任务上的表现十分优秀。它在开源模型排行榜 (预训练) 上名列前茅，并可与 PaLM-2 等专有模型相差无几。虽然目前还很难给出明确的排名，但它被认为与 PaLM-2 Large 不相上下，这也使得它成为目前公开的能力最强的 LLM 之一。

从架构维度来看，Falcon 180B 是 Falcon 40B 的升级版本，并在其基础上进行了创新，比如利用 Multi-Query Attention 等来提高模型的可扩展性。可以通过回顾 Falcon 40B 的博客 Falcon 40B  来了解其架构。Falcon 180B 是使用 Amazon SageMaker 在多达 4096 个 GPU 上同时对 3.5 万亿个 token 进行训练，总共花费了约 7,000,000 个 GPU 计算时， Falcon 180B 的规模是 Llama 2 的 2.5 倍，而训练所需的计算量是 Llama 2 的 4 倍。

1.4 ChatGPT Plus 上线一系列有用插件

• ChatGPT Plus 上线 Canva 插件，使用户能够高效的通过输入文本创建海报、横幅、表格等内容，并用于社交媒体发布、出版材料等。
  

直接要求插件帮你画各种图，以下示例画了5个公司组织架构图

你可以选择其中你喜欢的风格来编辑

• ChatGPT Plus 上线论文搜索神器插件 Consensus，可通过提问方式获得相关论文及链接，且幻觉问题被较好解决。

1.5 340 亿参数的 Code LLama 可在苹果电脑上运行啦

llama.cpp 作者 Georgi Gerganov 使用 推测执行（speculative sampling/decoding）推理优化方法，不量化、用 FP16 精度让 340 亿参数的 Code LLama 可在苹果电脑上运行，推理速度超过每秒 20 Token。
LLMs的推测执行是一种优化方法，通过批处理和草稿模型的使用，可以加快推理时间。这是因为LLMs在推理时受到内存限制，并且大多数令牌都很容易处理。这种方法在实践中有效，可以大幅提高模型的速度。

speculative sampling/decoding 论文摘要 

像Transformers这样的大型自回归模型的推断是缓慢的 – 解码K个令牌需要K次模型的连续运行。在这项工作中，我们引入了推测性解码 – 一种更快地从自回归模型中采样的算法，无需更改输出，可以并行计算多个令牌。我们方法的核心是以下观察：(1) 困难的语言建模任务通常包括可以由更高效的模型很好地近似的更简单的子任务，以及 (2) 使用推测性执行和一种新的采样方法，我们可以通过并行运行大型模型在近似模型的输出上，可能同时生成多个令牌，而不改变分布，从而使精确解码更快。我们的方法可以加速现有的即用型模型，无需重新训练或更改架构。我们在T5-XXL上展示了它，并显示与标准T5X实现相比，它有2X-3X的加速，输出相同。

智写AI介绍

智写AI 是免费万能的ai写作聊天机器人。ai免费帮你写作文、写论文、写材料、写文案、写网络小说、写周报月报、公务员材料、行政报告、写英语作文、写小说剧本、写短视频脚本、写营销文案等等，还能写代码。它能教你python、java、C#、C、javscript、Golang编程、系统架构设计、系统开发。它还能教你简历制作、简历模版，给你做心理咨询、给你讲故事、陪你玩文字游戏等。

智写AI PC站 支持上传文件，和文件对话聊天了。支持的格式包括TXT、PDF、Word等等，最多支持一次性上传5个文件，每个最多5MB。
这样一来，你就可以让AI帮你总结文章内容，帮你读论文，帮你理解各种公文文件。大幅提升您的学习、办公效率！