大模型晚报｜百川智能发布Baichuan-13B

大语言资讯：

百川智能发布Baichuan-13B

百川智能正式发布参数量130亿的通用大语言模型Baichuan-13B-Base、对话模型Baichuan-13B-Chat及其INT4/INT8两个量化版本。

据介绍，Baichuan-13B中英文大模型集高性能、完全开源、免费可商用等诸多优势于一身，是目前所有33B以下尺寸开源模型中效果最好的可商用大语言模型。相比此前发布的Baichuan-7B，Baichuan-13B在1.4万亿token数据集上训练，超过LLaMA-13B 40%，是当前开源13B尺寸下训练数据量最大的模型。

ChatGPT 向付费用户开发 Code Interpreter 插件

 OpenAI近日宣布，Code Interpreter 的Beta版向所有ChatGPT的付费用户（即ChatGPT Plus）开放。

Code Interpreter 可以略去代码过程，通过自然语言交互，直接得出结果。在 Code Interpreter 模式下，用户可以用它实现读取上传文件、执行代码、生成图表、统计分析等功能。

GPT-4被破解，训练成本，模型架构的秘密都被挖出来了？

SemiAnalysis的DYLAN PATEL和DYLAN PATEL发布了一个关于GPT-4的技术信息，包括GPT-4的架构、参数数量、训练成本、训练数据集等。

DYLAN PATEL和DYLAN PATEL表示，GPT-4比GPT-3大10倍，估计参数数量在120层、1.8万亿左右。GPT-4在约13万亿tokens上训练。这不是指不同的token数量，是根据epochs计算使用的token数量。OpenAI训练GPT-4的FLOPS约2.15e25，在2.5万个A100上训练了90-100天左右时间（MFU约32%到36%），如果是一个A100约1美元，那么训练成本约6300万美元（如果现在使用H100可能只要2150万美元）。

文章预测，未来几年，谷歌、Meta、OpenAI/微软等多家公司将在价值超过千亿元的超级计算机上训练模型。

英伟达将占AI芯片市场至少九成份额

花旗研究分析师Christopher Danely在周一的报告中表示，英伟达将占据AI芯片市场“至少90%”的市场份额，AMD位居第二。

Danely指出，上一代AI芯片(分别是MI250和A100) 中，AMD的硬件速度大约是英伟达的80%，而英伟达的H100与AMD的MI300相比，也具有类似的优势。

伊利诺伊大学推出新方法，利用大模型在水下导航

据 springeropen 页面显示，伊利诺伊大学厄巴纳-香槟分校学者近日发布论文，称可以利用 AI 大模型在水下进行导航。

研究团队借助水下相机在不同的水下地区拍摄了约1000万张相片，并利用这些图片对大模型进行训练。研究团队表示可以在最深 300 米以上进行水下定位，识别精度在 40-50 公里。

微软推出人工智能模型CoDi，可互动和生成多模态内容

微软近日推出了名为可组合扩散模型（CoDi），这是一种独特的、基于可组合扩散的人工智能模型，其设计目标是互动和生成多模态内容。

CoDi 采用了独特的可组合生成策略，在扩散过程中对齐多模态，从而生成相互交织的模式，更重要的是，CoDi 能够处理任意输入模式并生成任意模态的内容。

微软旗下全新 Microsoft Store AI Hub 现已开始推出

微软之前在 Build 大会上宣布的新 Microsoft Store AI Hub 功能现已开始面向 Canary 用户以及 Dev 用户推出。

Microsoft Store AI Hub 是由微软和开发者社区共同构建的 AI Hub，旨在提供最佳的 AI 体验。今年 5 月，微软在 Build 大会上宣布将 AI 的力量引入 Windows 11，并将通过 Windows Copilot 和 Dev Home 为用户和开发人员开启生产力新时代。

科大讯飞：讯飞星火认知大模型全面开放商用时间可期

科大讯飞7月11日披露投资者关系活动记录表显示，科大讯飞积极应对风险，在大模型价值观管理、用户隐私保护等方面都做了积极准备。

科大讯飞表示，相信只要坚持按照监管部门的要求，积极稳妥推进大模型技术攻关的同时，有效防范生成式人工智能风险，讯飞星火认知大模型全面开放商用时间可期，我们有信心成为第一批的厂商。

GenAI子公司获准加入英伟达初创加速计划

GenAI公司7月10日宣布，全资子公司Pulse AI已获准加入英伟达初创加速计划，并已发出采购订单，购买价值约180万美元的硬件，每年可提供超过35万小时的人工智能计算时间。

AI 工具每年或可帮助企业员工节省 390 个小时的工作时间

据 HRNEWS 报道， Visier 的最新报告显示，借助AI工具每年可帮助企业员工节省 390 个小时的工作时间。

数据显示，在已经采用 AI 工具辅助工作的英国员工平均每天节省了1.55小时的工作时间。此外，调查显示有56%的受访者表示他们的雇主还没有接受使用 AI 工具来提高生产力。

腾讯 AI 登顶国际麻将平台并刷新全球最好成绩

腾讯官方今日宣布，腾讯 AI 登顶国际麻将平台，在日本麻将天凤平台特上房达到稳定段位 10.68 段，刷新了 AI 在麻将领域取得的最好成绩。

目前排名前三的麻将 AI 分别为绝艺 LuckyJ、Suphx 以及 NAGA。绝艺 LuckyJ 花了一千多局就达到了 10 段，在特上房所有对战数超过 1000 把的注册玩家，稳定段位历史排名第一。

重点论文：

Google DeepMind 学者研发Focused Transformer ，扩展大模型输出长度限制

据 Arxiv 页面显示，Google DeepMind 研究团队近日联手华沙大学和波兰科学院等机构，研发一项名为 Focused Transformer 的技术。

Focused Transformer 技术通过对比训练来增强 (key, value) 空间的结构，从而扩展了上下文长度。这项技术使得已经预训练的大型语言模型可以被重新训练来延长它们的有效上下文。

经过实验，研究团队已经成功使用 LongLLaMA 模型在密码检索任务中实现了256K的上下文长度。

论文地址：点此前往

​Read More