o1已不是聊天模型了！SpaceX前工程师公开全新使用秘籍：从讨厌它到每天依赖它

梦晨
2025-01-13
12:14:45

来源：量子位

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

苹果&SpaceX前工程师分享o1使用心得，奥特曼、Brockman都转发了。

划重点：

o1已经不是聊天模型了，需要全新的使用方法。

奥特曼还跑去挖坟作者Ben Hylak数天前的“自我打脸”评论，称“观察o1的口碑变化、以及人们学习如何使用它很有趣”。

Ben Hylak曾任SpaceX软件工程师、苹果VisionOS人机交互设计师，目前在创业为AI产品提供分析服务。

具体来说，Ben在o1 pro推出满血$200/月版本的第一天就交钱了，整整测试了一天后得出结论：它真的很糟糕！

• 每次提问都要等待5分钟
• 会输出自相矛盾的建议
• 没有要求但总是会回复架构图+优势/劣势列表

Ben把糟糕的体验发在网上后，很多人表示同感。但有趣的是，也有人强烈反对。

他开始与持不同观点的讨论，然后意识到原来是自己的方法完全错了。

我还在把o1当聊天模型来用，但o1已经不是聊天模型了。

现在，Ben已经从讨厌o1，转变成了每天都在用它解决最重要的问题。

像对待新员工一样对待o1

如果说o1不是聊天模型了，那它现在是什么？

Ben认为它就像一个“报告生成器”。如果你给它足够的上下文，并告诉它你想要输出什么，它通常会一次性找到解决方案。

OpenAI官方其实给了一个简单的o1使用建议，但并不完善。

Ben的建议包括：

提供海量背景信息

不管你现在是怎么理解“海量”的，再乘以10倍。

当使用GPT-4o或Claude 3.5等聊天模型时，通常会从一个简单的问题和一些背景信息开始。如果模型需要更多背景信息，它通常会要求你继续提供。

这就是聊天模型的本质，从一来一回的交互中不断完善输出。

但o1只会从表面上回答你提出的问题，不会试图从你那里获取背景信息。所以需要反过来将尽可能多的上下文主动发给它。

即使只是问一个简单的代码工程问题，应该提供：

• 解释所有你尝试过但不起作用的方案
• 一份完整的数据库schemas
• 解释一下你的公司是做什么的，规模多大，定义内部术语

总而言之，就像对待新员工一样对待o1。

描述你想要什么，而不是指导它如何做

对于大多数聊天模型，我们都会告诉模型希望他如何回复模式，比如“扮演一位软件工程专家，请仔细思考”。

但在o1上有效的方法正相反，告诉它你需要什么，而不是指导它如何去做。

Ben把o1的提示词模板分成4部分：

• 目标放在最前面
• 详细指定输出格式
• 可以附加需要检查的注意事项
• 海量相关的背景信息

最后，o1的输出有一种学术/商业报告的风格。Ben认为太多的推理token让它很难摆脱这种风格

他曾试图让o1来完成这篇文章，但经过多次尝试，只能得到非常平淡的学生作业。

One More Thing

在奥特曼的转发推文中，有人套出了最新消息：

o3暂时还不会向用户开放，o3-mini会先推出，而且时间不远了。

o3-mini会先提供给Plus订阅用户使用，API的定价OpenAI内部还没确定，但不会很贵。

参考链接：
[1]https://www.latent.space/p/o1-skill-issue
[2]https://x.com/sama/status/1877814065088663763
[3]https://x.com/gdb/status/1878489681702310392

Read More