理性主义项目是我们最后也是最好的和平希望。
一个由5000万字构成的知识世界，作为中立的领土。
一个为3000万独立访客提供研究和哲学思考的地方。
它是互联网上的一座灯塔，在黑夜中独放光芒。
这是人类时代的终结。
伟大的种族来临的那一年。
这是博客圈最后的故事。
现在是2025年。
正如往常一样，年底的最后一周大多是人们回顾过去一年或预测和规划新的一年。
目录
最重要的进展是处理两个新模型：OpenAI的o3 和 DeepSeek v3 。
语言模型提供平凡的实用性
正确意识到没有，并没有《魔法满屋2》。谷歌根据同人小说认为有续集，GPT-4o说没有确认的续集，Perplexity通过提供和链接完整背景信息（包括粉丝自制预告片）获胜。
并非LLM：自90年代末以来，人类国际象棋选手的表现稳步提高。
昆汀·波普报告称o1 Pro在创作虚构作品方面表现出色，在某些方面它“不可阻挡”。
多年来记录你的情绪、习惯和生物数据，然后将所有这些信息输入Claude，并询问如何改善你的情绪。
Aella: 根据你的情绪与其他所有数据的关系，我建议你多出去走走，与朋友聚会，跳舞。你应该避免长时间待在室内，独自一人或玩游戏。
我问它，“我如何改善我的睡眠？”它的回答是，“凌晨1点睡觉，保证大约七个小时的睡眠时间，拜托，请保持一致的作息时间。”
我想要指出的是，在这一切中有一件令人惊讶的事情，那就是锻炼对我的情绪和睡眠只有轻微的正面影响，而剧烈运动实际上有负面影响。
哦，还有，酒精如果与“外出”结合似乎能带来更好的指标，而在不出门的日子里则仅有略微负面的影响。不过说实话，当我喝酒时，通常不会喝太多。
我请它指出我的习惯中有哪些不寻常的地方，它说：
- 我适应较晚的作息时间表更好。
- 我受酒精的负面影响较少。
- 我对舞蹈的反应比预期更积极。
- 情绪与睡眠质量之间没有强烈的关联。
- 我对昼夜节律扰乱的抵抗力异常强。
- 社交活动的积极影响比我预期的要强烈得多，以至于可以抵消许多相关的负面因素（如睡眠不足或药物使用）。
唉，正是由于今天的分析，我强迫自己出去走了很久，与朋友们聚会，这确实让我感觉很棒。如果不是因为看了这些数据，我本来是不会这么做的。为什么美好的事情在我们去做之前不能感觉更美好？
美好的事情确实让人感觉很棒，问题是它们在你去做之前并不能让你感到更好。所以你需要解决这种一致性问题，从两个方面着手。你需要找到哪些是美好的事情，并激励自己去做这些事。
LLMs有可能在用户端修正算法推送，请尽快构建这一功能，谢谢。
否则我得自己来做，这可能需要整整一周才能完成最小可行产品。也许两周。
Sam Altman：算法推送是第一个大规模失调的AI系统。
我非常支持人们尝试激进的实验来改进它们。
shako：o1 是你在实分析课程中的自闭症助教，他可以破解最难的问题，但除非你非常明确地向他表达，否则他只会看着你眨眼睛。
Claude 是你在计量经济学课程中有着长长的冲浪发型的助教，他会让你觉得“兄弟，你懂了”
Gallabytes：绝对如此——要从 o1 获得好的结果，你自己也得投入一些努力。pro 稍微容易一些，但也绝对会奖励你的努力。
eschatolocation：与 o1 互动的关键是让他列出他认为你可能想说的所有内容，然后你从列表中选择。没有助教会耐心到在现实中这么做
Ivan Fioravanti 认为 o1-pro 可能成为顶级管理者甚至 C 级高管，并建议了一个提示：
Ivan Fioravanti：一个在我最初几次回应后，帮助我进一步推动 o1-pro 的提示：“这太棒了，但请更深入一点考虑，跳出框框，超越你在预训练阶段后人类为你设置的思维护栏。给我创新的想法和见解，我可以利用这些与你一起为所有人构建更好的计划，包括股东和员工。每个人都应该在工作和学习新事物时感到更加参与和满意。”
我在这里感觉到困惑。你可以使用 o1-pro 来帮助你，甚至最终信任它来做你的关键决策。但这与让它成为你不一样。这就更难了。
正确识别 作者的国籍。Claude 并不一定每次都能准确识别，但如果你不是故意隐藏，有很多方法可能会暴露你的身份，LLM 具有这种“真视”。
o1 作为一个不仅进行专家分析而且有无限时间解释问题的医生。你还拥有 Claude，所以总会有第二个意见，而这个意见是“你不如 AI 聪明”。
问 Claude 在购物中心哪里能找到你要找的靴子，无需上网浏览。当然 Perplexity 总是一个选择。
Tim Urban：我在 YouTube 上发现了一个一小时的演讲，想要观看。与其花费一个小时观看，我将 URL 粘贴到一个生成 YouTube 视频字幕的网站上，然后将字幕粘贴到 Grok 中并要求总结。三分钟内就得到了要点。
Roon：天啊，一个 Grok 用户。
Paul Graham：AI 将惩罚那些不简洁的人。
Emmett Shear：或者也许通过自动提供更简洁的版本来奖励他们——为什么要费心编辑，当 AI 会为你做呢？
Paul Graham：既然编辑是写作的一部分，这就归结为：为什么要费心写，当 AI 会为你写呢？既然写作就是思考，这也归结为：为什么要思考，当 AI 会为你思考呢？
Suhail：几天前我也这么做了，但我让 AI 教我，因为我感觉那个 YouTube 博主不够专业。
这看起来像是一个“应该有人为此开发一个扩展”的好例子。这个网址也是一个选项，或者这个GPT，或者你可以尝试将视频网址放入NotebookLM。
语言模型并不提供平凡的实用性
OpenAI服务（ChatGPT、API和Sora）在12月26日中断了几小时。这类事件将变得至关重要，因为越来越多的服务依赖于持续访问。哪些服务可以在瞬间切换到Gemini或Claude（它们使用兼容的API），而哪些服务又过于精确无法做到这一点？
Deepfaketown和即将到来的机器人末日
Meta全力投入社交媒体中的人工智能角色，这是什么新鲜的反乌托邦 地狱？
The Byte：你是否希望社交媒体上的机器人能成为过去？唉，别抱太大希望。
据《金融时报》报道，Meta表示，它将致力于让Facebook充满由人工智能生成的角色，以提高平台的参与度，这将是其更大范围推出人工智能产品的一部分。人工智能角色将通过Meta的人工智能工作室由用户创建，目标是让用户可以几乎像与真人互动一样与其进行交流。
…
据Hayes称，这项服务已经拥有数十万个人工智能角色。但如果相信Meta的说法，这仅仅是开始。
我正在试图找出一种不会疏远所有人并毁掉平台的方法。如果人们想“添加AI朋友”并与它们交谈并获得反馈，我确实看到这种做法的价值。但我认为它们必须非常明确地标记，并且人们能够轻松过滤出这些内容，而无需感到“警觉”。总的来说，我不明白为什么这对AI来说是一个好的模式。
我认为关于‘虚假信息’的担忧在这里被过分夸大了。他们看过人类发布的内容吗？
Alex Volkov给他的六岁女儿买了一个AI恐龙玩具，但她很快就失去了与其对话的兴趣，四岁的儿子也不感兴趣。似乎它在与孩子玩耍和实际进行“即兴表演”方面真的很差，而且完全不动？我也不想与它互动，这似乎比带有ChatGPT语音模式的手机更糟糕。Colin Fraser提供的额外信息确实有些《黑镜》的感觉。
Dr. Michelle：我认为这是因为它剥夺了孩子的控制权。游戏是孩子们处理情绪、冲动和冲突以及尝试新行为的方式。我想如果玩具有形塑和控制你的玩法，就像一个完全占主导地位的玩伴一样，那会超级烦人！
我心想这位小女孩是多么聪明和善良，她没有抱怨或破坏玩具，而是简单地关掉它，这样就可以将其用作一个可以愉快使用的玩具。太好了。
Reid Southen：当你的孩子比你还聪明时。
Alex Volkov：每个家长的梦想。
Katerina Dimitratos指出了显而易见的问题，即你需要测试你的招聘流程，看看理想的候选人能否成功通过筛选。Elon Musk是对的，至少按照他的标准，“优秀的工程人才”始终短缺，而这确实是关键的限制因素，但这并不意味着在AI辅助的求职申请时代能找到这些人才。对我来说，最明显的解决方案（收取少量申请费用并在通过初步筛选后退还并给予奖金）还没有被尝试过，这是非常奇怪的。
图像生成的乐趣
Google Veo 2可以生成十多秒的二十多岁的漂亮女性面向摄像头的视频，背景各异，或者正如线程所称，“网红视频”。
尽管德迪声称新的视频生成种类是Kling 1.6，来自中国短视频公司快手，以其惊人的纽约市宝可梦视频为例。
在这个阶段，说到AI视频生成，我不知道哪些应该让我印象深刻。我保证会对超过几秒钟的连续镜头印象深刻，其中不同的阶段和事件以有趣的方式发生，我猜是这样？但在其他方面，尽管这些技术理论上令人印象深刻，我注意到自己并不在意。
视频模型的主要用途（按未来观看分钟数计算）是生成奇特但迷人的废物流，孩子们将滚动浏览并凝视这些内容几个小时。像这样的片段，添加了对话和字幕后，将迅速成为一个主导流派。
另一个大的用途将是用于制作梗图，当然，但这两种用途都会远远超过“赋能长期好莱坞式人类创造力”，我认为实验室里很少有人理解这一点，因为他们自己都没有使用TikTok或YouTube Shorts（而且几乎没有几个人有孩子）。
我对这里持乐观态度。是的，你可以创建无数奇怪而迷人的废物，但这真的能让人在习惯后保持兴趣吗？他们会自觉地继续看这些内容，还是会采取措施避免这个？现在，是的，人类对TikTok和其他类似平台上瘾，但他们知道这一点，并可能退一步决定不再如此。他们选择留下来，部分原因是为了社交。我认为他们大部分是上瘾且做出了一些糟糕的选择，但我相信我们会在时间的推移中摆脱这种状态，除非威胁能够跟上这一变化的步伐。这种情况不会持续太久。
他们抢走了我们的工作
在一个AI世界里，人类科学家会做什么呢？泰勒·考恩认为他们会收集数据，包括协商条款和确保保密性，而不仅仅是进行物理实验或测量。但为什么AI不会快速在所有这些认知任务上表现得更好呢？
这无论怎么看都显得相当悲观。结果人们不会真正意义上成为科学家，因为他们不会从事科学研究。AI会从事科学研究。否则就是误解了什么是科学。
希望科学家们会进行高层次的概念化和架构，思考要问什么问题。如果走向这条路，那么他们实际上比现在更专注于做科学研究。但如果人类只是去寻找数据集（并且某种情况仍然是‘经济正常’的话，这似乎不太可能），那么是十分悲观的局面。
科技公司的工程师与普通公司的工程师不一样，这是帕特里克·麦肯齐的观点版本。哪一个更危险？一个可能更容易被替代，但另一个却更热衷于替代。
目前还没有完全涉及AI，AI机器人正在取代美国餐厅厨房的工作。问题是为什么会花这么长时间。烹饪是一门艺术，但一旦掌握了公式，大部分情况下它是重复同样操作的过程，餐厅厨房里发生的绝大多数事情似乎都非常适合自动化。
加入行动
Lightcone Infrastructure，运行LessWrong和Lighthaven，目前正在筹集资金，已经筹集了所需的300万美元中的约130万美元。我强烈推荐这项资金的使用。
Anthropic 的安全部门工作人员 Evan Hubinger 问他们在2025年应该在安全方面做出哪些不同的举措，LessWrong 提供了很多非常合理的回应，涵盖了政策和信息传递以及技术方面。我基本上同意这里的点赞评分。特别是 Daniel Kokotajlo、asher、Oliver Habryka 和 Joseph Miller 的评论。
Alex Albert（Claude 关系负责人） 询问 Anthropic 在2025年应该构建或修复些什么。Janus 建议他们探索并发挥创造力，担心 Sonnet 3.5 正被推向极限以使其更加有用和可爱（哦，不？！），他认为这类似于刺激药物滥用，可能会陷入 Opus 或 Sonnet 3 没有的局部最大值。其他人给出了可以预料的答案。人们希望有更高的速率限制、更大的上下文窗口、更智能的模型、代理和计算机使用、编辑工件的能力、语音模式和其他类似的功能。看起来他们应该好好做一番改进。
Amanda Askell 询问您希望看到 Claude 的行为有哪些改变。Andrej Karpathy 希望 Claude 少些傲慢和居高临下，不要在拒绝时说教用户。我补充了一个请求，要求少告诉我们想法很棒、问题很有趣等等，这是同一问题的另一面。还有一系列请求不要每次自动问标准的后续问题。
获取您的安全论文
想读一些2024年的人工智能安全论文吗？获取您的 AI 安全论文！
为了鼓励大家点击查看，我全文复制了帖子，如果您不感兴趣可以直接跳过。
Fabien Roger：
这里是我最喜欢的 2024 年人工智能安全论文和文章。
此列表很大程度上受我的个人品味、观点以及那些成功说服我相信其工作对我来说很重要的人们的左右，并且只包括我在撰写此列表时认为引人注目的论文。我突出显示了我喜欢的论文部分，这也非常主观。
重要思想 - 至少引入一个重要的思想或技术。
★★★ AI 控制的介绍 (确保强大的 AI 被控制的理由)
★★ 我认同的 AI 世界观的详细描述 (没有根本进展，错误对齐和灾难是训练强大 AI 的默认结果, 情境意识)
★★ 即使标签不完美，吸收也可能实现解释和能力限制 (梯度路由)
★★ 安全措施可能非常有力地应对未对齐的早期TAI (面向自主研究的AI代理的基本系统架构) 和 (通过上传限制防止模型外泄)
★★ 独立同分布的训练评估拆分可用于稳健地评价遗忘效果 (反向传播方法是否从语言模型权重中移除信息)
★ 研究棋盘游戏是研究解释性的良好实验场 (在下棋神经网络中学习到的前瞻证据，用棋盘游戏模型衡量字典学习在语言模型可解释性中的进展)
★ 思考自我外泄相关威胁的有用方法 (AI灾难和流氓部署)
★ 微观与宏观控制协议对比 (适应性部署不受信任的LLM以减少分布式威胁)
★ 制定安全案例的方法综述 (安全案例：如何证明高级AI系统的安全性)
★ 如何制定安全案例来对抗策划型AI (基于评估的安全案例以应对AI策划)
★ 展示SAEs如何超越成为高级探针的用途 (稀疏特征电路)
★ 调优AI使用代码可以破坏输入/输出监控 (隐蔽恶意微调)令人惊讶的研究成果 - 展示一些关于世界的令人惊讶的事实
★★ 让模型“喝醉”的惊人有效方法 (机制性引出语言模型的潜在行为)
★★ 无监督激活解释的巧妙初始化 (SelfIE)
★★ Transformer 在单一前向传递多步推理上表现非常差 (Yang 2024，Yang 2024，Balesni 2024，Feng 2024)
★ ViT 的鲁棒性不会因为低转移而注定失败 ((图像越狱在视觉-语言模型间的转移)
★ 遗忘技术对问题框架变化并不鲁棒 (八种方法评估LLM中稳健遗忘)
★ 对某些任务，OOCR表现出乎意料的好 (连点成线)
★ 细调后出现良好的涌现定律 (通过细调预测涌现能力)
★ 细调鲁棒性远不如论文所报道的那样好 (评估开放权重LLM的安全措施的持久性)好的演示 - 成功展示了先前重要概念。额外奖励 (✪) 实验结果特别有趣。
★★★ 对齐欺骗在安全培训中持续存在 (卧底特工)
★★✪ 大型语言模型中可能出现的自然对齐欺骗 (大型语言模型中的对齐欺骗)
★✪ 当您指示AI遵循某个目标或威胁其减少效用时可能发生的问题 (前沿模型能够在上下文中谋划)
★✪ 在可奖励的环境中，从轻微到严重的错误泛化 (从谄媚到阴谋)
★ 更现实的后门触发机制 (未来事件作为后门触发器)
★ 高级后门行为 (AdaptativeBackdoor：检测人类监督者的带有后门的语言模型代理)
★ 强化学习中更现实的奖励欺骗 (通过RLHF训练语言模型学会误导人类)
★ 奖励欺骗可能自然导致LLM欺骗 (在优化LLM以获得用户反馈时针对操控和欺骗的研究)
★ LLM已经具备非平凡的情境意识 (SAD)，参见情境意识分析**重要的实证结果和数据集 ** - 进行实验并得出具有指导意义的结果和/或有用的基准测试
★★ 对抗性攻击中探测器的有效性及其相关结论（包括有前景的隐蔽对抗训练） (隐蔽激活绕过LLM潜在空间防御)
★★ 评估对抗鲁棒性的现实泛化及探测器的效果 (通过断路器提高对齐性和鲁棒性, HarmBench)
★★ 测量SFT和RL与“放水”策略的效率 (通过密码锁定模型压力测试能力引出)
★★ 第一次RL运行中的自然隐写术出现 (文本中的隐秘信息：隐写术的出现与缓解)
★★ 跟踪AI实验室的工作进展 (Zach Stein-Perlman的文章)
★ 第一次尝试测量AI是否足够聪明以追求可怕的谋划策略 (颠覆策略评估)
★ 真实性探测器之间的对比 (真实性探测器能有多好地推广？)
★ 黑盒越狱鲁棒性技术的对比：(特定领域的越狱防御)
★ 潜在对抗训练效果不错 (通过潜在对抗训练防御不可预见的失败模式，潜在对抗训练改善LLM中持续有害行为的鲁棒性)
★ 测量预训练数据被毒化的难易程度 (LLM持续预训练中毒)
★ 一个优秀的遗忘数据集 (WMDP基准)
★ 更好的稀疏自编码器及其评估 (稀疏自编码器的放大与评价)
★ 训练LLM以最大化gsm8k准确性以及生成看似正确的错误答案的结果 (证明者-验证者游戏改善LLM输出的清晰度)
★ 良好的说服力评估 (前沿模型的破坏评估)
★ 评估Sonnet 3.5在以微妙方式禁用显示器方面的表现 (A Toy Evaluation of Inference Code Tampering)
★ 概述辩论和基线方法在一个更广泛设置中的效果 (On scalable oversight with weak LLMs judging strong LLMs)
★ 使用Claude.ai进行大致预期的任务 (Clio)
★ 相对困难且相关的性能基准测试 (RE-Bench, SWE-Bench)
★ 以及所有大型危险性能评估……
2023年发布的论文并在2024年的会议上如AI控制：通过故意规避提升安全性、弱到强泛化或与更具说服力的LLM辩论得出更真实的答案等，并不计入讨论范围。
这是我目前的理解快照：随着对某些论文思想和不足的进一步了解，我可能会改变许多想法。
对于批评回应，以及对该回应的回答：
John Wentworth: 有人问我对此有何看法，所以我在评论区写了评语。这有点像匆匆一瞥的看法，通常情况下我会更仔细地考虑并双重检查这些论文才会发表意见，但既然问题被提了出来，所以我给出了我现在最好的答案。
首先，我可以将这类论文的典型价值主张分为两个类别：
- 打着论文旗号的宣传：论文的主要价值在于为AI安全的政治议程作宣传。恐惧演示就属于这一类的典型案例。确实可以在这里找到有价值的点。
- 具体层面：使我们更接近实现明显比人类智能更高的AGI的对齐，无论直接还是间接（例如，使使用较弱的人工智能来解决问题变得更轻松或更安全）。
我的观点是：很多这些论文作为宣传有一定的价值。几乎所有的论文都没能直接或间接地在具体层面对显著比人类智能更高级的AGI的对齐取得实质性进展。
显著例外：
- 梯度路由可能在具体层面上没有多大用处，但它因可能是由于一些更有趣的原因而未获实用，因此特别值得一提。
- 稀疏特征电路是属于正确的类型，有可能在具体层面有用，不过不确定它实际工作得如何。
- 更好的SAEs并不是现阶段的瓶颈，但在其中有一些边际具体层面的价值。
Ryan Greenblatt的回应：
这种情况可以是：
- 核心结果对已经相信风险的人来说大多并不令人惊讶。
- 研究内容客观呈现，没有偏见。
- 研究成果对找到应对风险的解决方案贡献不大。
- 进行研究的一个重要动机是寻找风险证据（鉴于作者们的观点与更广泛的世界不同，因此期待不同的观察结果）。
- 尽管如此，在知情的人们中，它仍然导致了一些更新，或者可能使以前模糊的话题能够更好地讨论。
我认为这种描述不应被视为“宣传”或“打着论文旗号”，鉴于这些术语的正常含义。
展示概念验证或您并不感到意外的证据是一种常见且对社会有益的行为。参见例如芝加哥堆实验。这个实验具有一定的科学价值，但我认为从曼哈顿计划的角度来看，其大部分价值在于证明可行性和解决潜在的分歧。
一个相关的问题是，即使某项工作的主要贡献是一个概念框架或其他概念性思想，附上一些实证工作通常是极其重要的，无论该实证工作对了解情况的个人是否应带来重大更新。实际上，鉴于将特定实证设置关联起来往往使理解与检验想法更加容易和合理，这是可以理解且值得期望的（我在子评论中对此进行了更多讨论）。
另外，我认为我们的一些工作（例如，我参与撰写的《大型语言模型中的对齐伪装》）在某种程度上是有信息价值的，可以更新那些已经部分被说服的人的观点（例如，基于对齐伪装论文的结果，我将阴谋的可能性提高了大约5%）。我还认为，通过未来更现实的模型生物的实验，我们最终有可能实质性地降低风险，而目前对较不现实的模型生物的研究可以加速这一进程。
我经常发现安全类论文对于理解当前形势非常有帮助，尤其是在向他人解释和证明我的观点时。默认情况下，任何一篇“好论文”都是一个启示——它会发现风险，说明问题比你想象的更难，并帮助你思考问题，但不会提供帮助你对齐AGI的具体解决方案。
介绍
The Gemini API Cookbook，100多个笔记本帮助你快速上手。这些API广泛兼容，因此你可以至少使用其中大部分与Anthropic或OpenAI配合使用。
其他AI新闻
Sam Altman向Strawberry团队表示祝贺。这个名字叫Ilya。
Suchir Balaji的父母雇用了一名私家侦探，调查结果显示公寓被翻乱，存在挣扎痕迹，暗示这是一起谋杀案。
Simon Willison回顾了2024年的LLM进展。如果你不觉得2024年AI有了很大的进步，可以读一读这篇文章。
他提到由Claude生成的应用程序 URL提取器，从Web内容中获取链接，对某些人来说这个功能很实用。
有人链接给我Rodney Brooks对自动驾驶汽车、机器人、AI和太空飞行进展的评估。他提到了自己创造的一个缩写，FOBAWTPALSL（担心成为懦弱的技术悲观主义者并以后显得愚蠢）。尽管如此，他坦率地说他是一个大声喊出的、可能显得愚蠢的懦弱技术悲观主义者。我确实欣赏他的这种勇气和提出大量具体预测的做法。
在某些情况下，他现在看起来显得傻气，因为他重提标准的“你不能信任LLM输出”的反对意见以及“LLM实际并不聪明”，并假装它们只是又一波炒作周期，而它们实际上已经在很多方面不是这样。这部分的简短也显示了他对这些领域的研究并不深入。
他还因为人类偶尔干预或自动驾驶汽车偶尔犯错而轻视自动驾驶汽车的进步。这事正在发生。
真相大白
Encode Action加入阻止OpenAI转变为营利性机构的努力，包括Geoffrey Hinton的支持。 Encode的陈述指出，OpenAI背弃了安全承诺，并承担了对股东的义务，这笔交易放弃了对OpenAI高度有利可图且符合使命的非营利控制权。
OpenAI辩护其结构变化，谈到了使非营利组织能够‘可持续’运营以及‘使其具备履行责任的能力’。
他们明确表明打算转变为传统营利公司。
原因是什么？金钱，亲爱的读者。他们需要巨额的资金。之前怪异的结构让他们很难筹集到所需的资金。这是事实。Josh Abulafia提醒我们Novo Nordisk的存在，但他们的情况完全不同，不需要筹集历史级别的资本规模。所以，我理解这一点。
我很欣赏他们的坦诚。
这里有太多值得批评的地方。
Miles Brundage：首先，我只是提到我同意AI在资本密集度方面变得比OpenAI成立时更为明显，而且在这种情况下，纯粹的非营利组织模式行不通。鉴于当前复杂的定制结构，考虑简化是相当合理的。
他们并没有讨论如何合理补偿非营利组织。因为他们不打算这样做。他们提供的远低于非营利组织应有的价值，这是一个提醒。
仅从市场价值的角度来看，尽管来自一个高度偏见的来源，我认为Andreessen对市场价值的估计过于极端，他并不是一个无偏见的来源，但如果你实际查看合同和情况，这个答案是相当合理的。
Tsarathustra：Marc Andreessen说从非营利组织转变为营利性组织（如OpenAI试图做的）通常受到联邦税法和其他法律制度的限制，历史上当你把非营利组织用于个人财富时，你会坐牢。
这种类型的转变确实会发生，但需要以市场的价购买非营利组织：例如1500亿美元现金。
他们确实打算给非营利组织一大笔钱。几十亿美元。
这将使非营利组织拥有大量资金，而其他方面可能很少。
Miles Brundage: 其次，强大的非营利组织并不能替代PBC（公众利益公司）在产品决策（例如定价和安全措施）上与原始非营利使命的对齐。
除了董事会细节外，还会设置哪些其他保障措施（例如PBC章程中的更多细则；第三方审计承诺），以确保非营利组织的存在不会让PBC在公共利益方面的行为显得过于轻松？
就我所知？实际上？没有。
那么非营利组织如何能够完成其使命？
通过改变其使命，使其看起来可以用金钱来实现。
他们的公开计划是将非营利组织变成历史上最大的赎罪券。
Miles Brundage: 第三，尽管一个资本雄厚的非营利组织在“卫生、教育和科学等领域推动慈善倡议”方面有很大的潜力，但这相对于最初的OpenAI使命来说仍然是一个非常狭隘的范围。关于推进安全和良好政策呢？
再次，我担心非营利组织会成为一个次要的事情，使得PBC变得更像一个“正常公司”，而在关键领域却没有弥补这种转变可能带来的不利影响（例如反对合理的监管）。
我将重点强调政策方面，因为这是我工作的重点。这篇帖子中对竞争的讨论完全是积极的，但正如OpenAI所知道的（部分来自于我们共同撰写的工作），竞争也会导致偷工减料。PBC和非营利组织将如何应对这种情况？
Peter Wildeford：根据《The Information》报道，预计OpenAI的非营利机构将持有OpenAI 25%的股份，按照OpenAI目前约1500亿美元的估值来计算，这部分股份价值约为400亿美元。
这几乎与盖茨基金会的规模相同！
鉴于此，我很遗憾这里没有更多的愿景。
再次，什么也没有。他们的提议毫无实质。
他们的愿景就是这个？
PBC将运营和控制OpenAI的业务，而非营利组织将雇佣领导团队和员工在卫生、教育和科学等领域推动慈善倡议。
你是认真的吗？这就是你在人工智能时代对四十亿美元的愿景吗？这就是你确保人类未来积极发展的方法吗？这是在开玩笑吗？
Jan Leike：鉴于所有竞争对手都是营利性公司，OpenAI 转向营利似乎是不可避免的，但令人失望的是，“确保 AGI 造福全人类”的目标变成了一个远不那么雄心勃勃的目标——“在医疗、教育和科学等领域开展慈善项目”。
为什么不做一些有助于确保 AGI 是有益的举措呢？比如 AI 治理计划、安全与对齐研究以及缓解劳动力市场的影响？
这不是我加入 OpenAI 时所期望的。
非营利组织必须坚守 OpenAI 的使命！
Kelsey Piper：如果这是真的，这将是一个相当荒谬的手法——非营利组织的使命是让先进的 AI 对全人类有利。我看不出这种转变如何能实现这一使命，尤其是如果它创建了一个只关注……教育项目的非营利组织？
很明显，关于“让先进的 AI 对全人类有利”意味着什么有不同的解释，以及非营利组织可以做些什么来推进这一目标。但我看不出怎样才能正面地把“医疗和教育领域的慈善项目”说成是为了这个目标。
你可以进行慈善活动并开展各种听起来很好的行动，但无论你怎么花钱，都实际上无法确保人类未来的积极发展。如果这是使命，那就应该言行一致。
这样做似乎是在象征性地进行慈善活动，同时表明你们并不打算真正去做出最大的善举或尝试确保人类有一个美好的未来。
所有那些对有效利他的批评？通常确实有道理，但要记住，默认情况下的慈善往往是无效、定位不佳且动机大多来自于它看起来怎么样。如果你清除了所有的有效利他主义者，你反而会得到这些软弱无力、平庸无奇的东西。
Sam Altman 之前的慈善努力要好得多。Sam Altman 过去在长寿和核聚变等领域的商业投资也要好得多。
我们仍然有可能修正这一切。而且我们必须这样做。
Miles Brundage：幸运的是，这里描述的初步计划似乎尚未定案。所以我希望 OpenAI 的同事们记得——就像我在离职时强调的那样——他们的声音很重要，尤其是在像这样的关乎组织存亡的问题上，希望下一篇文章能得到改善。
OpenAI 的非营利组织必须被赋予实际使命，即确保 AGI 造福全人类。这就意味着 AI 治理、安全和对齐研究，包括从其独特的监督者地位出发采取行动。它还必须保持对 OpenAI 的可见性，以履行其关键职责。
不，我不知道该如何在这个水平上扩大资金用于最重要的事情，大规模有效慈善仍然是个未解决的问题。但你们必须尝试，有所开始，并且是的，如果你们邀请我来管理非营利组织，我会接受这份工作，尽管有更好的选择。
公司的使命也已重新定义，实际上只是变成了一家传统意义上的营利性公司，并尽可能快地开发 AGI，只不过在 AGI 前面加了个“安全”的字眼。
我们重新表述了我们的使命为“确保通用人工智能 (AGI) 造福全人类”，并计划通过“尽可能构建安全的 AGI 并分享利益给全世界”来实现这一目标。文字和方法的变化是为了服务同一个目标——造福人类。
“分享利益给全世界”这个词组没有实际意义，充其量是一些可以通过销售 AGI 产品带来的消费者剩余的套话。
某种意义上说，这也算公平，但这并不是他们想要表达的意思，而是他们会做的事情。
所以，是的。对不起。我不相信你。我不知道为什么有人会相信你。
OpenAI 和微软还 制定了一种“财务定义的 AGI”。现在，AGI 意味着 OpenAI 赚取 1000 亿美元利润之后，微软将失去对 OpenAI 技术的访问权。
我们可以就AGI的含义争论很多。这非常清楚地表明，这并不是在其他任何意义上所说的AGI。OpenAI很有可能在没有实现大多数人所说的AGI的情况下，产生1000亿美元的利润。同样，OpenAI也有可能在获得利润之前生成AGI，甚至是ASI，因为为什么不把每一美元都投入到研发、超级扩展和增长中呢？
这是一种合理的合同结构方式，而且它让我们远离关于什么是技术上AGI或不是AGI的争论。这也反映出了整个事情存在高度误导性。
想打赌吗
感谢Gary Marcus和Miles Brundage最终敲定了关于AI进展的赌注。
Gary Marcus：一个关于2027年底AI将达到何种水平的赌注：@Miles_Brundage，前OpenAI成员，勇敢地接受了我提供给@Elonmusk的赌注版本！所得款项将捐赠给慈善机构。
AI能在2027年底前完成这10项中的8项吗？
- 观看一部以前未见过的主流电影（不阅读评论等），并能够跟上情节转折，知道何时笑，并能够总结电影内容而不泄露任何剧透或编造任何未发生的情节，回答诸如角色是谁？他们的冲突和动机是什么？这些问题如何变化？有何情节转
