大语言模型（LLM）已经风光了一段时间，但超越喧嚣，它们面临着严重的限制：幻觉、缺乏置信度估计以及缺乏引用。幻觉是指LLM生成看似合理甚至有说服力的内容，但实际上毫无根据或错误。置信度估计为预测分配一个置信分数，有助于判断其准确性。错误答案的高置信分数比完全没有分数更糟糕……

一个独立的网络浏览器

上周，我在为期六周的“掌握大型语言模型：开发者与数据科学家会议”上做了一场演讲，主题是如何从命令行访问和利用大型语言模型。我的重点是介绍我开发的名为LLM的Python命令行工具，以及如何使用它及其插件来探索这些模型，并将其用于实际任务。 演讲视频被录制并上传到了YouTube，我还将其转换成了带有详细注释和屏幕截图的演示文稿（没有幻灯片）。LLM是一个工具，旨在帮助用户直接在终端中运行大型语言模型提示。你可以通过pipx、pip或brew安装它...

你知道吗？大型语言模型（LLMs）有时会给出明显错误的答案，而且它们的信心程度与正确答案无异。这背后的原因可能包括训练数据中的误导信息、需要推理超出事实范围的内容，或者模型设计上的某些激励可能导致错误。但最简单的解释可能是，LLMs并不理解什么是正确的答案，只是被迫提供一个，这就形成了所谓的“编造”（confabulation）。 现在，牛津大学的研究人员发现了一个相对简单的方法，可以判断LLMs是否在“编造”，这个方法适用于所有主流模型，且适用于各种主题。他们的研究表...

在这篇文章中，我将分享我们在使用 LangChain 时遇到的困难，以及为什么用模块化构建块替换其僵化的高级抽象简化了我们的代码库，使团队更加快乐和高效。

随着我们专注于解决越来越复杂的AI问题，一个显著且具有挑战性的转变是训练大型语言模型（LLMs）所需的计算规模。过去，我们的AI模型训练通常涉及大量小型模型，这些模型需要相对较少的GPU来运行。比如，推荐系统（如新闻推送和排名算法）会处理大量信息，以提供精准的推荐，支撑着我们的大部分产品。 然而，随着生成式人工智能（GenAI）的到来，训练任务转向了少数几个大型任务。这意味着我们需要重新思考软件、硬件和网络基础设施如何协同工作，以支持这种大规模的计算需求。 大规模模型训练的挑战主要包括： 硬件可靠性：确...

在这个春天的一个雨天早晨，我驾车送七岁的儿子去学校。当我从倒车切换到前进挡时，习惯性地拿起手机想通过Spotify听播客。然后，他的话让我心头一紧。 “爸爸，你为什么总要看手机？”他问。 这个问题直击要害。 我知道这一天迟早会来。无论是发短信、查邮件，还是漫无目的地刷推特，我注意到最近他在一旁看着我，眼神里满是不满。 雨点打在挡风玻璃上，我的车被困在车道和街道之间，我一时之间不知如何回应。我勉强找了个借口，试图为自己过度依赖手机辩解，但那听起来如此苍白无力。 我透过后视镜观察他的反应，想知道他是否相信了我。...

想象一下，未来电话不再是人类之间的常规交流，而是由人工智能（AI）驱动的智能对话。有了新一代的人工智能技术，我们不再需要人类接线员，只有当通话真正对用户有价值时，他们才会参与其中。对于企业来说，这意味着节省人力成本、重新分配资源以增加收入，以及通过更一致和合规的客户体验降低风险。消费者则能享受到接近人类水平的服务，无需等待或匹配真人，比如现在可以通过AI获取心理咨询、教练指导甚至陪伴，未来这个范围还将大大扩展。电话就像世界的接口，而AI让这个界面更加智能化。在不同领域...

我刚刚结束了一周与英国顶尖大学——剑桥、牛津和帝国理工学院的优秀学生们的交流。加上伦敦大学学院，这四所英国大学代表了全球排名前十的大学中的四席。而美国，人口是英国的五倍，GDP更是高出八倍，但在全球顶级大学排行榜上的名额却相同。在这次访问中，我被技术人才的国际一流水平所震撼，特别是在人工智能和生物科学领域。但同时，我也注意到了另一件事：这些聪明的年轻人在完成学业后，大多希望去麦肯锡、高盛或谷歌这样的公司工作。我现在居住在旧金山，并在Y Combinator投资初创企业，我深感美国顶级大学的本科生创办公司...

在这项研究中，我们提出了 AniPortrait，这是一种新颖的框架，用于生成由音频和参考肖像图像驱动的高质量动画。我们的方法分为两个阶段。最初，我们从音频中提取 3D 中间表示并将其投影到一系列 2D 面部标志中 ...

音频驱动的头部说话合成是虚拟人相关应用的热门研究课题。然而，现有方法的不灵活性和低效率，需要昂贵的端到端训练来将情感从指导视频转移到头部说话的预测，这是很大的限制。在这项工作中，我们提出了音频驱动的说话头的情感适应（EAT）方法，该方法通过参数有效的适应，以经济高效的方式将情感不可知的说话头模型转换为情感可控的模型 ...

我们研究创建可以从动漫角色的单个图像实时控制的角色模型的问题。这个问题的解决方案将大大降低创建头像、电脑游戏和其他交互式应用程序的成本…

我自学的方法通常是找几本详尽的书籍，从头到尾阅读。如果你想要进入自然语言处理（NLP）、人工智能（AI）和机器学习（ML）领域，这里有一份推荐书单…

想象一下，你被派往一片原始雨林进行野生动物普查。每当你看到一只动物，就拍一张照片。你的数码相机会记录总拍摄次数，但你只关心独一无二的动物数量——那些你还没统计过的。如何最有效地得到这个数字呢？伊利诺伊理工学院的计算机科学家兰斯·福托诺说：“显而易见的解决方案是记住至今所见的所有动物，然后逐个对比新出现的动物。”但他补充道，还有更聪明的方法，因为如果有数千条记录，显而易见的方式并不简单…

你们可能认为，毕业后会踏入所谓的现实世界，最终需要找份工作。但事实并非如此。今天，我要分享一个技巧，帮助你避免传统意义上的找工作。这个技巧就是创办自己的公司。创业不是逃避工作的手段，相反，它会让你比普通工作更投入。但你会避开许多职场烦恼，比如不必听从上司的指令。自己做项目更有趣，而且有机会变得更富有。实际上，这是成为超级富豪的常见路径。看看媒体上偶尔发布的亿万富翁名单，你会发现他们中的大多数都是通过创办公司实现财富积累的…

当你在GitHub这样的开源仓库中漫游时，总会偶然发现一些标题类似上述问题的未解决事项。它们可能静静地存在，无人问津，偶尔会有维护者留下的评论和一串“我来帮忙！”的回复，但这些承诺往往从未兑现。而极少数情况下，你会看到一个已关闭的问题，似乎有了圆满的结局。这些问题总让我着迷，因为它们揭示了开源项目维护的深层含义，继任问题（尤其是在贾亚·谭时代之后），以及用户、贡献者和维护者之间的期望落差。最近，我也在考虑如何提前预防这类问题，主动提出自己的问题答案。

蛋白质“语言”与人类语言有许多相似之处。鉴于这种相似性，研究人员已经在蛋白质序列数据上构建和训练语言模型，复制了在其他领域取得的成功，这带来了深远的影响。在这篇文章中，我们将探讨如何将变换器模型应用于蛋白质数据，并分享我们的发现。蛋白质就像人类的语言一样工作：氨基酸序列（构成蛋白质“词汇”的20种基本单元）决定了蛋白质在环境中的结构和功能。这些氨基酸的排列顺序至关重要，因为它影响着蛋白质如何折叠以及在生物系统中的相互作用。如同人类语言由单词、短语和句子等模块化元素组成，蛋白质也有模式和域，它们是构建复杂结...

据日本《日经亚洲》报道，软银集团子公司Arm宣布进军AI芯片研发，计划在2025年推出首批产品。这一大胆举措是软银集团CEO孙正义10万亿日元（约640亿美元）投资策略的一部分，目标是将公司转型成为AI领域的领军者。

2022年，我发表了一篇关于如何打造一款过度工程化的咖啡豆存储和库存管理系统的文章。没想到，这篇文章激发了很多人的灵感，他们告诉我，我的分享给了他们开始类似项目的新动力。这让我非常高兴。最近，我正忙于两个相关项目：一个还未公开的传感器，另一个是咖啡豆存储显示...

Radient是一个轻量级且开发者友好的库，它能将各种数据类型（不只是文本）转换为向量，便于进行相似性搜索。在利用RAG（Retrieval-Augmented Generation）技术的应用中，向量数据库常被用来检索与查询相关的内容。随着大模态模型（如Reka和Fuyu）的发展以及推荐和语义搜索等传统任务的兴起，向量的应用范围正在扩大，不再局限于文本领域。