• [博客翻译]Meta如何大规模训练大型语言模型

    随着我们专注于解决越来越复杂的AI问题,一个显著且具有挑战性的转变是训练大型语言模型(LLMs)所需的计算规模。过去,我们的AI模型训练通常涉及大量小型模型,这些模型需要相对较少的GPU来运行。比如,推荐系统(如新闻推送和排名算法)会处理大量信息,以提供精准的推荐,支撑着我们的大部分产品。 然而,随着生成式人工智能(GenAI)的到来,训练任务转向了少数几个大型任务。这意味着我们需要重新思考软件、硬件和网络基础设施如何协同工作,以支持这种大规模的计算需求。 大规模模型训练的挑战主要包括: 硬件可靠性:确...
  • [博客翻译]我没有智能手机的一个月

    在这个春天的一个雨天早晨,我驾车送七岁的儿子去学校。当我从倒车切换到前进挡时,习惯性地拿起手机想通过Spotify听播客。然后,他的话让我心头一紧。 “爸爸,你为什么总要看手机?”他问。 这个问题直击要害。 我知道这一天迟早会来。无论是发短信、查邮件,还是漫无目的地刷推特,我注意到最近他在一旁看着我,眼神里满是不满。 雨点打在挡风玻璃上,我的车被困在车道和街道之间,我一时之间不知如何回应。我勉强找了个借口,试图为自己过度依赖手机辩解,但那听起来如此苍白无力。 我透过后视镜观察他的反应,想知道他是否相信了我。...
  • [博客翻译]人工智能语音助手:重塑沟通的新时代

    想象一下,未来电话不再是人类之间的常规交流,而是由人工智能(AI)驱动的智能对话。有了新一代的人工智能技术,我们不再需要人类接线员,只有当通话真正对用户有价值时,他们才会参与其中。对于企业来说,这意味着节省人力成本、重新分配资源以增加收入,以及通过更一致和合规的客户体验降低风险。消费者则能享受到接近人类水平的服务,无需等待或匹配真人,比如现在可以通过AI获取心理咨询、教练指导甚至陪伴,未来这个范围还将大大扩展。电话就像世界的接口,而AI让这个界面更加智能化。在不同领域...
  • [博客翻译]承担风险——英国与美国的初创企业

    我刚刚结束了一周与英国顶尖大学——剑桥、牛津和帝国理工学院的优秀学生们的交流。加上伦敦大学学院,这四所英国大学代表了全球排名前十的大学中的四席。而美国,人口是英国的五倍,GDP更是高出八倍,但在全球顶级大学排行榜上的名额却相同。在这次访问中,我被技术人才的国际一流水平所震撼,特别是在人工智能和生物科学领域。但同时,我也注意到了另一件事:这些聪明的年轻人在完成学业后,大多希望去麦肯锡、高盛或谷歌这样的公司工作。我现在居住在旧金山,并在Y Combinator投资初创企业,我深感美国顶级大学的本科生创办公司...
  • [论文翻译]音频驱动头部说话合成的高效情感适应

    音频驱动的头部说话合成是虚拟人相关应用的热门研究课题。然而,现有方法的不灵活性和低效率,需要昂贵的端到端训练来将情感从指导视频转移到头部说话的预测,这是很大的限制。在这项工作中,我们提出了音频驱动的说话头的情感适应(EAT)方法,该方法通过参数有效的适应,以经济高效的方式将情感不可知的说话头模型转换为情感可控的模型 ...
  • [博客翻译]计算机科学家发明了一种有效的新计数方法

    想象一下,你被派往一片原始雨林进行野生动物普查。每当你看到一只动物,就拍一张照片。你的数码相机会记录总拍摄次数,但你只关心独一无二的动物数量——那些你还没统计过的。如何最有效地得到这个数字呢?伊利诺伊理工学院的计算机科学家兰斯·福托诺说:“显而易见的解决方案是记住至今所见的所有动物,然后逐个对比新出现的动物。”但他补充道,还有更聪明的方法,因为如果有数千条记录,显而易见的方式并不简单…
  • [博客翻译]如果你将来想创业,现在该做什么?——给14-15岁孩子们的建议

    你们可能认为,毕业后会踏入所谓的现实世界,最终需要找份工作。但事实并非如此。今天,我要分享一个技巧,帮助你避免传统意义上的找工作。这个技巧就是创办自己的公司。创业不是逃避工作的手段,相反,它会让你比普通工作更投入。但你会避开许多职场烦恼,比如不必听从上司的指令。自己做项目更有趣,而且有机会变得更富有。实际上,这是成为超级富豪的常见路径。看看媒体上偶尔发布的亿万富翁名单,你会发现他们中的大多数都是通过创办公司实现财富积累的…
  • [博客翻译]这个项目还在维护吗?

    当你在GitHub这样的开源仓库中漫游时,总会偶然发现一些标题类似上述问题的未解决事项。它们可能静静地存在,无人问津,偶尔会有维护者留下的评论和一串“我来帮忙!”的回复,但这些承诺往往从未兑现。而极少数情况下,你会看到一个已关闭的问题,似乎有了圆满的结局。这些问题总让我着迷,因为它们揭示了开源项目维护的深层含义,继任问题(尤其是在贾亚·谭时代之后),以及用户、贡献者和维护者之间的期望落差。最近,我也在考虑如何提前预防这类问题,主动提出自己的问题答案。
  • [博客翻译]蛋白质语言模型综述

    蛋白质“语言”与人类语言有许多相似之处。鉴于这种相似性,研究人员已经在蛋白质序列数据上构建和训练语言模型,复制了在其他领域取得的成功,这带来了深远的影响。在这篇文章中,我们将探讨如何将变换器模型应用于蛋白质数据,并分享我们的发现。蛋白质就像人类的语言一样工作:氨基酸序列(构成蛋白质“词汇”的20种基本单元)决定了蛋白质在环境中的结构和功能。这些氨基酸的排列顺序至关重要,因为它影响着蛋白质如何折叠以及在生物系统中的相互作用。如同人类语言由单词、短语和句子等模块化元素组成,蛋白质也有模式和域,它们是构建复杂结...
  • [博客翻译]无法使用或传授的技术——“线程”之痛

    2022年,我发表了一篇关于如何打造一款过度工程化的咖啡豆存储和库存管理系统的文章。没想到,这篇文章激发了很多人的灵感,他们告诉我,我的分享给了他们开始类似项目的新动力。这让我非常高兴。最近,我正忙于两个相关项目:一个还未公开的传感器,另一个是咖啡豆存储显示...
  • [博客翻译]Radient:数据转向器,让多种类型的数据融入相似搜索

    Radient是一个轻量级且开发者友好的库,它能将各种数据类型(不只是文本)转换为向量,便于进行相似性搜索。在利用RAG(Retrieval-Augmented Generation)技术的应用中,向量数据库常被用来检索与查询相关的内容。随着大模态模型(如Reka和Fuyu)的发展以及推荐和语义搜索等传统任务的兴起,向量的应用范围正在扩大,不再局限于文本领域。
  • [博客翻译]人工智能经济:零失业率与前所未有的增长

    在人工智能和机器人技术日益发展的今天,一些人担忧这将导致大规模失业。然而,人工智能开发者安德鲁·梅恩的观点截然不同。他解释说,技术的进步不仅可能创造更多的就业机会,还会引领一个史无前例的经济增长时期。 当开放人工智能公司在二月发布文本到视频模型Sora时,娱乐行业和风险投资家纷纷关注。他们分为两派:一派担忧技术会迅速颠覆现有商业模式,另一派则寻求抓住变革带来的机遇。就连那些公开批评AI威胁的人,私下也在寻找利用它的途径。科技初创公司担心自己会被技术进步超越,而这种进步...
  • [博客翻译]在大型语言模型时代,软件的可塑性转型

    随着大型语言模型(LLMs)的快速发展,计算机用户可能很快就能编写小型代码。这将对软件的生产和分发带来什么样的结构性变化呢? 过去几周,科技巨头们纷纷发布新成果。OpenAI推出了GPT-4,展现了在编码等多方面的能力提升。微软的研究也展示了GPT-4如何能无提示生成复杂的3D游戏代码。此外,还有针对GPT的插件出现,比如ReAct工具,让用户能更便捷地查询数据。人们自然会好奇,这些技术将如何影响软件的创作。一方面,专业的开发人员可能会因LLMs而变得更高效,因...
  • [博客翻译]用外行的术语解释llm.c

    训练大型语言模型(如ChatGPT)涉及大量的代码和复杂性。例如,一个典型的LLM训练项目可能会使用PyTorch深度学习库。PyTorch非常复杂,因为它实现了非常通用的张量抽象(一种用于排列和操作数组的方法,这些数组包含神经网络的参数和激活),以及一种非常通用的Autograd引擎来进行反向传播(训练神经网络参数的算法),以及您可能希望在神经网络中使用的大量深度学习层。PyTorch项目的源代码有11,449个文件,共3,327,184行代码。除此之外,PyTorch是用Python编写的,而Pyth...
  • [博客翻译]503天全职投身开源项目:经验和教训分享

    在正式投入一个全职开源项目之前,我发现了一个有趣的事实:通过非传统途径寻找工作机会变得越来越容易,尤其是在互联网时代。如果你在找工作,提交简历或者填写表格确实能收到回应,但这次并非我找到Textualize工作的常规方式。我要告诉你的是,我在Twitter上的活跃互动如何帮助我获得这个职...
  • [博客翻译]为什么现在的软件如此糟糕?

    随着互联网的发展,软件的角色变得越来越重要,以至于我们的世界现在严重依赖于它。软件在各种操作中起着关键作用,从将卫星送入轨道到管理庞大的供应链网络。无论是在驾驶汽车、乘坐飞机还是购买杂货时,我们都会依赖它。 然而,尽管出现了专门的角色,如用户体验专家和质量保证工程师,以尽量减少软件中的错误数量,但随着软件解决方案的数量持续增长,人们仍然会遇到性能和可用性问题。本文旨在探讨这种持续的质量危机背后的原因,并揭示为何尽管取得了进步,但软件质量仍然是一个关键问题。...
公告

AI千集是一个AIGC自动创作平台
在这里您可以获得本平台自训练的
LLM和AI绘画的模型服务
和小伙伴一起玩转AI,做自己的AI机器人
来AI千集,让你的AIGC成长更有意义
扫一扫,加入我们
公众号
有加群需求的小伙伴,请微信加qianji_ai为好友