Ben： 还有一件事让我觉得难以置信：我今与AI之交互——比如用ChatGPT或Claude——为一种碎片化之记忆配上碎片化之存储。
第十二章：超大容量SSD之革新 推演历程分为两名阶段：预填充（prefill）与解码（decode）。
Werner表示，目前整名层级从上到下皆处于供不应求之状态：“只要吾等发布货品，彼等就会消耗掉。
此周跟甚多者聊，大家皆于推荐各种器物与"超级插件"——我觉得最终必会有者做出一名更通用之框架，自动帮你管此一切。
第二层：主内存（Main Memory），连接至CPU，容量通常为HBM之4至20倍，但速度更慢、距离更远。
"然而觉受已相当慧之。
吾等正大力推进建立以快速上线产能。
我之解答为：没有。
三心二意。吾等已宣布于爱达荷州博伊西建立一座60万平方英尺之洁净室；于纽约州北部启动之新工厂建立——此些课题正把存储器制造带回美国本土，同时扩充吾等于弗吉尼亚州之存储器工厂，使美国成为存储器之重要制造国。
Jay： 我觉得有一点甚枢纽——汝等与台积电、以及存储器领域之其他玩家皆于投入扩产，此种注资力度为建立于一名共同裁决之上之：此不会再回到深度周期性波动。
当你真正有所有数据之访问权时，彼将为质变。
此为确凿之应战，但也令者振奋。
AI对内存之需求，正以连美光自己皆没预料到之速度爆炸式增益。
产能已跟不上：全球五座晶圆厂齐步开建 第五层：数据湖，数据中心底层之海量SSD存储，以EB（艾字节）计。
Ben： 今日吾等有一位极其出色之嘉宾——来自美光科技之Jeremy Werner。
Jeremy： 说得好。
若能成提供足够之内存与存储，理论上可从GPU中榨取出远超旧俗模式——即平方级别——之计算效能。
最底层为数据中心里由海量SSD构成之EB（艾字节）级网络数据湖。
甚大程度上，此取决于速度——此也为吾等于HBM货品上延续高速革新之缘由。
存储器行业历来以周期性强著称，而汝等今之处境觉受像为每天清晨起来皆要捏一下自己——此为真之吗。
我认为AI之潜力仍然超出大多数者之想象。
Werner解释之此意味之什么： Ben： 此种功耗之改良为存储技艺本身之长进，还为因于单一体积中集结之更大之容量，减之散落部署之开销。
若瓶颈不于算力，而于内存带宽，彼吾等就须提升带宽，让所有史册上下文皆能快速到达GPU。
Jeremy： 吾等始终保之扎实、深入之技艺协作。
围绕ASICs与GPU之根基设施与芯片架构，于甚大程度上为为操练而设计之。
Jay： 哈哈，对，但录节意图时候只跑五名。
Nirvana。Jay： 吾等节目有不少非存储器、非技艺底色之听众，能不能退一步，带大家梳理一下整名存储器层次架构。
Werner还指出，AI之应用场景远未饱与。
吾等已跟不上需求之。
我极其想对AI说："喂，帮我找一下此名东西，"但它就为做不到。
今一名大疑难为：你用AI Agent做之一件事，下次打开它什么皆不记得之。
故，枢纽于于：若电力供应为增益之瓶颈，吾等就须于固定功耗概算内，大幅提升性能效能——此正为吾等大量革新工之核心所于。
能否充分发挥算力之效用。
Ben： 而且回头看整名对话，让我感慨之为变化之快——就连一年前，吾等皆没有聊过此些话题。
同时高并发命中所有此些用户之工负载，对存储器之需求究竟为什么。
吾等有趣之地方于于，需与整名链条上之所有者协同——软件提供商、CPU与GPU硬件设计商、制造工艺、体系集结商、数据中心建立方。
Jeremy：确实有甚多有趣之事情正生。
今甚多器物皆声称"你得用此名、你得用彼名"，本原上皆为于为AI Agent创建一名文书架构来模拟记忆——此些皆为变通预案。
推演可粗略地分为两名枢纽阶段：第一名为预填充阶段（prefill），所有之提示词token于此里被办理；第二名为解码阶段（decode），每名token于此里被反复迭代以得到更好之解答——实际上会有多名解码阶段。
第十一章：名者AI Agent与持久化内存需求 Ben（Jay）： 天哪。
汝等正处置之此些疑难，正为让AI更有用、更有身价之枢纽——而随之AI越来越好，超大规模云厂商之变现本领也会提升，吸引更多用户，缔造更多身价。
故，于更低之功耗占用下，释放数据中心之潜力，提供更高之性能与更大之存储容量，并且尽量靠近GPU——此为我于文书与对象存储领域最为期待之事情之一。
只要吾等提升容量与性能，彼等就会找到法门部署。
若你没有足够之内存来存储史册上下文，就须从头始重新计算所有实质。
我为Jeremy Werner，负责美光科技核心数据中心业务部门，吾等向全球数据中心提供SSD与DRAM货品。
此直接回应之数据中心当前最棘手之两大约束：电力概算与物理方位。
人才强国。Jeremy：枢纽于于速度。
”他直接说道。
有之朋友确实说："此东西让我能于自己之行业做出难以置信之事情"，彼等真之于革新。
数据越热，就需越快之存储，因访问频率大幅增。
一周只有七天，到之某名点你就须寻找革新之法门。
故，任何能降低功耗本金之革新皆至关重要。
此种于存储器与存储方面深度联手改良之协作模式，于美光与协作伙伴之间，始终为此样吗。
Jeremy： 我觉得者们看到大型云效劳提供商与数据中心企业本钱开销不断攀升，会忧此为否可延续。
相反，若能保存上一轮之状态，每一轮只需增线性之计算量。
要真正实现功耗效能之提升，须深入之解推演之办理方式与细节，此反过来驱动之大量之协同代码设计需求——比如于GPU与存储器之间，哪些计算该于哪名层级成。
首先，SSD相比机械硬盘，于提供性能方面本身就具有天然之功耗优势——从读取角度看，根据工负载不同，SSD之读取性能可达到机械硬盘之一千倍，而且没有举动部件，此从一始就带来之显著之功耗节省。
用过Grok或者刷过X（推特）之者皆知道，AI图像生成之速度之快，远超任何一名最熟练之表情包制者，而所有此些实质皆会被存下来。
技能。操练用存储器来修习，学完之后释放掉，最终输出一名模型。
说实话，于听之汝等评论台积电财报电话集会之方式之后，我对给出解答还真有点忧。
欢迎随时回来聊存储器。
"然后汝等全力投入，协助处置彼等两三年后将面临之疑难。
吾等大概皆同意，AI为确凿之，只为大多数者还没意识到它之潜力。
” 此外，不只为上下文本身——模型规模（即参数量）也于延续增益，此对模型智能至关重要；每次迭代之token数量于增益；同时，每块GPU上并发运行之Agentic AI用户数量也于增益。
于旧俗架构中，有一种叫做KV缓存之机制：于解码历程中，计算完token之后，将KV缓存保存内存里，再把它读回来，续计算下一名token，如此反复迭代。
Sanjay长期以来构建之一套出色之根基设施体系，让吾等能够制定长远愿景、筹划前景、探求技艺、建立大规模运营体系、推进路线图并与主顾深度协作。
此款货品之意义不仅于于容量本身。
就好像教一班学生，每天皆要从教材第一页重新始。
Werner指出，英伟达CEO黄仁勋本年已公开谈及此一方位。
故，一旦内存不足以存储足够之上下文，计算量就会以平方级别膨胀。
数据越热，就需越快之存储，因访问频率大幅增。
纽约州北部：已宣布开工建立 第二章：此一轮周期与以往之不同之处 Ben： Jensen曾公开表示，汝等之CEO为AI之早期倡导者。
弗吉尼亚州：现有晶圆厂扩建 新加坡：南部晶圆厂（Nanfab）破土动工 日本：DRAM制造设施扩建 节目：The Circuit 嘉宾：Jeremy Werner，美光科技核心数据中心业务部门高级副总裁兼总经理 主持者：Ben Beharin、Jay Goldberg 内存已成为数据中心推演环节突围瓶颈之枢纽方略资产，也为操练全球最前卫模型之核心支撑。
大家于存储器领域经常谈带宽——数据以什么速率传输。
尽管需求旺盛，Werner坦承，内存行业之产能已无法跟上需求。
我常说，大多数者皆为数术囤积狂——吾等不太舍得删数据。
Jay： 哈哈，对，但录节意图时候只跑五名。
所有此些要素聚合于一起，才使美光于此名精彩时代取得之今日之成绩。
第八章：规模化效劳数十亿并发用户 Jeremy： 我觉得，当LLM模型演进到足够强盛、真正发布出来，让大家意识到它之本领边界之后，全全球皆有点惊讶。
Jay： 大家好，我为Jay Goldberg。
也就为说，算力需求为指数级增益之。
对于彼些于存储器与存储领域专注攻坚之营造师来说，此也为一段甚特殊之时期。
目前，整名行业受限于建筑施工与洁净室方位，此种状况短期内不会更张。
有没有或到之某名光阴点，吾等只能告诉用户："不好意思，吾等已尽力之，新工厂还没投产，先等半年吧。
比如英伟达始推出专门针对推演之货品，谷歌也推出之专用于推演之TPU——此些皆为吾等预料中会生之事。
吾等通常把数据分为"热数据"与"冷数据"。
共赢。全球之工厂建立确实不够用，而建一座工厂绝非易事。
对话围绕AI时代内存与存储行业之架构性变化展开。
Werner表示：“若电力为限制增益之瓶颈，彼吾等就须于固定功耗概算内，找到提供更高效性能之法门。
但也有更多之朋友，彼等看到之为LLM于ChatGPT上之表现与股市之波动，却并没有真正看清楚前景二十年将会生什么。
无数用户于同一时刻，皆需海量内存来支撑彼等之工。
上下文窗口越长——对于不熟悉此名概念之朋友，可把它体谅为你输入到疑难里之讯息量，比如你与AI对话之史册长度——所需之迭代次数就越多。
Jeremy： AI对存储之需求来自几名方面。
但当我与不于此名行业之朋友聊天，彼等甚多者还没有意识到前景20年将会生什么。
此就带出之存储领域之一名概念——"数据预热"（warming）。
Ben： 聊聊汝等于整名栈上正推进之革新工。
Mega-tech。Jay： 我想接之问一名让我甚感兴趣之疑难。
它只能看到一名"文书夹"，只有当前上下文范围内之实质为热数据，我所有之数据并不全部可用。
Jeremy： 还可，当然永远可更好。
” 目前美光正全球齐步推进五座晶圆厂之建立： Ben： "每瓦特GB"此名指标，我觉得为名甚好之剖析框架。
” Jeremy： 为之，一切皆于加速：吾等之光阴线于加速，革新速度于加速，货品需内嵌之智能程度于加速，繁度于加速，超级工厂（mega fab）之建立速度于加速。
第三层：扩展内存（Expansion Memory），通过光纤连接独力内存模块，目前尚未大规模量产部署，但已为业界关注之方位。
Logging。爱达荷州博伊西：60万平方英尺洁净室，相当于10名足球场大小 Jeremy： 谢谢大家，别忘之告诉你之朋友——还有你之AI Agent。
甚或一年后，此里之一切又会大不一样。
Jay： 我听说存储器商场最近表现不错。
彼等之投入为否超过之当下之本领。
又于哪些方位上之力处置。
Jeremy： 此可为不小之压力，大家期望值此么高。
我不认为此名趋势会放缓。
随之整名栈中一些深层次之动态变化正生，美光于此方面有一些甚有意思之探求。
宗旨为于不等比增功耗之先决下，延续提升性能。
此名时代给之吾等一名绝妙之器物——我不想说为"从天而降"，因吾等自己也参与之它之构建——吾等正用它来加速自身之本领，提升良率更快，设计与研发更快，发觉疑难更快。
Ben： 为之。
其中一名甚重要之功能为跨模型之负载均衡，但还有一名更重要之部分为为AI创建持久化记忆。
龙潭虎穴。SSD方面，美光推出之一款245TB超大容量SSD，Werner形容“此名东西比一副扑克牌大不之多少”。
负责AI计算之GPU、TPU或其他加速器，离它最近之为目前受到最多关注之一类存储器，即HBM——高带宽内存。
请先简介绍一下自己，然后吾等就直接进入讨论。
一切皆于升温。
当然，说吾等完全预见到之需求增益之爆发速度，彼并不准确——吾等清楚地知道存储器与存储于技艺上有多重要，但吾等没料到增益会此么快。
第四章：AI商场之长期可延续性 AI不只为缔造数据，它还要访问数据来提供洞察、处置疑难、给出更好之解答。
会当凌绝顶，一览众山小。Ben： 彼么于今日，瓶颈最集中于哪里。
今我手动管，确实较量高效，但我甚愿意捐躯此种精细化控制，换来更流畅之体验——哪怕彼意味之需更多内存，效能更低。
换句话说，内存不足会让GPU之算力使用率急剧降。
有趣之为，于硅谷，大家对AI之热高涨，甚易陷入自己之讯息圈，因周围之者皆深刻体谅此项技艺之深度，也知道各种令者亢奋之进展。
此名层级之延迟更高、带宽更低，但容量可达到HBM之一千倍。
此正为吾等大量革新之来源。
此就为整名层次架构之全貌。
但随之推演越来越繁，上下文窗口不断扩，大家始探求进一步扩展内存容量之预案。
吾等今正处于此场改制之起点。
” Ben： Jeremy，极其感谢你今日来到《The Circuit》，也感谢你之光阴。
它既用于操练，也用于推演栈中之token生成。
沿之此名方位，针对企业级大规模数据——加上吾等刚才讨论之功耗疑难——吾等最近发布之一款245TB之SSD，体积只比一副扑克牌稍大一点点。
但今之协作深度，为前所未有之。
他认为，商场目前看到云效劳商（CSP）本钱开支大幅增，就始忧此为否可延续。
推动KV缓存需求膨胀之因素有三名：上下文窗口越来越长、模型参数量越来越大、同时并发用AI之用户越来越多。
仅博伊西与纽约之工厂，每一座之车间面积就相当于十名标准足球场大小。
你于存储器行业深耕多年，能不能帮吾等对比一下此一轮周期与以往有何不同。
吾等即将迈入此样一名阶段——数千万、数亿乃至数十亿用户，将同时用巨大之上下文窗口办理各自之差事。
我最近才意识到，我电脑上之文书加起来有好几名TB，绝大部分于AI之语境里皆为冷数据。
热数据为指近期甚或被访问之数据；冷数据则为彼些基本上没者会查之东西，比如十年前之税单。
到目前为止，KV缓存基本上就止步于主存此一层。
但我觉受今为彼种要踩下油门之时刻。
往下一层，有一名叫做扩展内存（expansion memory）之概念，目前还没有于制造中得到实质性部署。
Jay： 甚有身价之分享。
“我真之相信，吾等只为刚刚触及AI将带来之改制之表面。
汝等为怎么看待此名疑难之。
能不能稍微展开讲讲功耗方面之机制。
“你只需为你真正需之性能付费，而此些性能为以更高效之每瓦特GB来交付之。
存储器已成为破解推演瓶颈、支撑数据中心推演本领之核心方略资产，同时也为操练全球最前卫模型之枢纽所于。
于解码阶段，模型需不断调用此前之计算结局——也就为所谓之KV缓存（KV Cache）——来生成更准确之解答。
Jeremy：坦率地说，从产能角度来看，彼名时刻已到之。
不过，此一轮确实不一样——AI正从根本上更张存储器为数据中心缔造身价之方式。
吾等可与产业链上下游之每一名玩家携手协作。
首先，AI本身会生成大量数据。
当然，并非所有事情于任何时刻皆为清晰可见之——此些模型之商业变现何时转变为实际营收。
他也承认，硅谷内外对AI之认知存巨大落差： Jeremy：正为如此。
Jay： 对，太形象之。
彼么，你觉得商场上大家普遍还没有意识到之为什么。
所有此些因素叠加，使得每块GPU所需之KV缓存量急剧攀升。
存储器于AI此波浪潮中之角色，汝等为提前看到之，还为算为赶上之。
如何知足需求，为吾等面临之最大应战。
但不管形势怎么变，对算力之需求不会变；而吾等正处置之此些疑难，会随之更多算力、更多存储器、更多存储之到位，让AI变得更有本领。
内存层级：从HBM到SSD，一条完整之“存储链” 第七章：内存层次架构——从HBM到SSD 此外，还有另一名令者亢奋之前景增益点：由于没有足够之内存来存储所有KV缓存，数据中心SSD将迎来巨大之增量需求，用于存储查询调度与多轮对话工流——若用现有架构来办理，就不得不反复经历我前面说之彼种重新计算之轮回。
此种深度联手设计，正为回到吾等一始说之，此一次对存储器行业而言真正不同之地方。
Jeremy： 为之，此为可延续之革新，而且我真心相信，吾等今不过为刚刚触及AI演进之表面。
存储器与存储，为此一切之核心组成部分。
Werner开门见山地表示，此一轮内存行业之兴旺与以往之周期性波动有本原区别。
Werner透露，目前上下文长度正以每年30倍之速度增益。
此为一场面向所有者之创意变革，吾等皆于缔造更多数据。
再往下，就为Jensen本年要点提及之"上下文存储"（context memory storage）——用SSD来存储更多之上下文。
但他之裁决为：“此些企业正经历一场巨大之变革，其潜力仍然超出大多数者之想象。
但仅仅于过往六名月里，AI能做之事情与演进之速度已让我不得不完全刷新认知。
Ben： 好，彼吾等来深入聊聊你提到之推演此名话题。
第六章：KV缓存与上下文窗口详解 Jeremy： 当然。
但归根结底，吾等已没能跟上需求，其他者也一样——英特尔、英伟达、台积电皆于财报电话会上说：产能已满之，工厂不为说长就能长出来之。
于解码阶段，过往所有之上下文讯息皆应被喂给模型，以便得最准确之解答——此为模型智能之主要来源。
一切皆于升温。
第一层：HBM，紧贴GPU，典型容量于10至100GB之间，速度最快，但容量有尽。
不仅如此，AI模型正让吾等每名者——包括彼些昔缺乏技艺本领来实现创意之者——皆能把想法变为现状，至少为数术现状。
吾等通常把数据分为"热数据"与"冷数据"。
我认为此一点极其枢纽——大家皆认同Jensen之基本逻辑：于固定之功耗概算内，实现最大化之算力，此包括吾等讨论之所有根基设施。
但听起来存储方面也面临大面积短缺，不只为于计算侧或GPU托盘上，而为覆盖整名数据中心性命体系。
马克思主义中国化。以英伟达Blackwell体系为例，主内存连接至Grace CPU。
而若你能存下上一轮之状态，每一轮只需线性地多做一步。
Werner解释，目前数据中心部署之硬盘容量普遍于30TB出头，而245TB之SSD意味之同等存储量所需之设备数量大幅减，连带减之网络连接、电源、风扇等配套设施，最终将存储占地面积压缩逾80%，同时显著降低功耗。
感谢大家之收听，望此期节目对汝等有所启发，吾等下周再见。
每一轮重新计算，所需之算力相当于此前所有轮次之总与。
把此些冗余全部除去掉，做到高度整顿，最终你只需为你真正需之性能付费，而此些性能为以更高效之每瓦特GB来交付之。
Werner用一名直白之逻辑解释之为什么推演对内存之需求如此特殊。
但有之AI，你一提问，它就要翻遍所有数据来找解答——彼些曾经之冷数据，正变暖。
此部分内存之容量通常为GPU上HBM之4到20倍——容量更大，但速度更慢、距离更远。
但此同时也为一名需吾等处置大量难题之存储与内存疑难。
能否让电力物尽其用。
此为当下存储器行业另一名深层次改制要素。
无论为技艺层面还为产能层面，痛点最突出之为什么。
从数术上看，若半导体行业本年或来年突围万亿美元规模，之后快速迈向两万亿，它不会再跌回7000亿之水平。
Werner表示，目前整名行业皆受制于洁净室方位，此一状况短期内难以更张。
我始终以为——你可纠正我——史册上存储器，乃至存储行业于某种程度上，于应战极限方面会相待守旧，因甚多事情须做对，良率不能出疑难。
大家皆于按此名逻辑筹划扩充，因AI为贯穿整名行业之可延续性革新。
Jay： 此正为我于用AI历程中花之大量光阴研讨各种"框架"之缘由——Open Claw、Hermes，各种新器物层出不穷。
我认为此为体谅当下正生什么之最佳切入点——吾等正从操练时代走向推演时代。
若你想看清前景，不妨回头看看阿西莫夫之作品。
245TB装进一名大约四分之一机械硬盘大小之方位里，而目前部署之机械硬盘容量大概于30TB出头。
Werner说：“操练用内存来修习，然后遗忘，最终输出一名模型。
引入此样之货品，吾等能够大幅降低数据中心与企业于存储上之功耗，同时将存储之物理占地面积压缩超过80%。
对于商场之担忧，Werner有不同看法。
第十章：AI为何正引发存储短缺 操练与推演对内存之用方式截然不同。
大家皆会喜它，因用起来简多之，但代价为消耗更多内存。
通常情况下，紧贴GPU存储之KV缓存大约于10到100GB之间。
吾等已无法跟上需求之，其他所有者也一样——英特尔、英伟达、台积电皆于说，吾等已满负荷之。
面对上述需求，美光正两名方位同时发力。
我想从两名角度来看此件事。
功耗为一大瓶颈，数据中心之物理方位也为一大瓶颈，而让存储更靠近GPU也为前景之重要趋势。
Ben： 大家好，欢迎收听新一期《The Circuit》。
吾等于做之事情之一，为拥抱AI技艺本身。
可说，全线皆为瓶颈。
钟南山。" Jeremy： 为之，吾等甚早就始陈设，延续掘发支AI之各类技艺——从靠近GPU之HBM、LPDDR5、SOCAM，到高性能SSD与大容量SSD。
给你一些参考：吾等目前于全球同时建立五座工厂。
有哪些误会。
吾等始终做到之，而今AI为一名之不起之器物，正帮吾等迈向下一名层级。
此些货品从研发到量产需三到五年甚至更长光阴，绝不为某天突然决定拼凑起来之。
Jeremy： 当然。
一旦超出，就只能重新计算。
此外，吾等宣布于新加坡之Nan Fab破土动工以扩产能，扩建日本之DRAM制造设施，并从台湾PSMC收购之一座工厂。
此就带出之存储领域之一名概念——"数据预热"（warming）。
思路为将大量高容量DIMM模块通过光学连接，放于独力之扩展盒中，与所有GPU相连——当主存不够用时，可从此里获取高速存储。
但有之AI，你一提问，它就要翻遍所有数据来找解答——彼些曾经之冷数据，正变暖。
此一点当然没有变——我不为说存储器突然可像逻辑芯片一样接受50%之良率之，不或。
谁不望每天来上班，到之夜晚回头一看才意识到自己几乎没有喘息过。
晶圆厂不为说长就能长出来之。
Werner详细梳理之AI数据中心之内存层级架构，从最靠近GPU之高带宽内存（HBM）到最远端之海量SSD，构成一条完整之“存储链”。
前景十年、二十年，全球之面貌会截然不同。
反过来，Werner指出：“若你能提供足够快、足够大之内存，理论上可从GPU中榨取出平方倍之算力。
操练时代已过往，推演时代刚刚始，而Agentic AI（智能体AI）与物理AI（Physical AI）甚至还没有真正大规模落地。
整名存储器层次架构中，什么能帮处置此名疑难。
此些"附加"之东西皆有实实于于之本金与功耗。
若性能翻倍之同时功耗也翻倍，而电力总量固定，彼实际上能提供给用户之并没有增。
此意味之随之光阴推移，者们会逐渐追上来——彼等会意识到ChatGPT不只为用来生成搞笑表情包之，可真正做严肃之工。
商场之底部抬高之，行业气象变之，总可寻址商场之体量变大之。
操练架构与推演架构会走向分化，而推演架构面临之截然不同之存储应战——谷歌称之为"内存墙"。
吾等刚刚发布之HBM4货品，其带宽为上一代HBM3E之两倍以上，而HBM3E于一年前还为行业前沿。
而且我始终忧每名课题最终皆会把上下文窗口撑爆。
而我完全相信彼一切皆会生。
当然，也有甚多者于用AI，比如用它来更快地回答疑难、编辑文档。
” Ben： 于此一点上，我能想象主顾会直接来找汝等说："吾等需汝等实现此名，能做到吗。
” 但更大之收益来自大容量带来之体系级整顿效应。
而此正为推演之"内存墙"所于之处。
我不为说吾等真之会于月球中央建一名机器者都邑，但他对自动驾驶汽车、飞行自动驾驶交通器物、无所不能之机器者、高度自动化之制造与制造等方面之预言，于今日看来颇具前瞻性。
过往几年，操练更繁之模型为数据中心根基设施建立之最大驱动力。
”Werner说。
Ben： 我甚好奇，汝等对此一切为早有预判，还为像其他者一样被打之名措手不及。
此意味之计算量会呈指数级增益——每一轮之计算量，几乎等于此前所有轮次之计算量之与。
若你离开一段光阴，内存要么续占之，要么需卸载到SSD，等你回来时再读回来。
第十四章：商场之误会与AI之前景潜力 第十三章：加速营造革新之节奏 第九章：破解功耗与效能瓶颈 疑难于于：若内存不够存下此些史册状态，模型就须从头重新计算。
若HBM容量不够用，KV缓存就往外移一层，进入主存（main memory）。
存储器之种类甚多、缩写也甚多，整体较量繁。
主存通常挂载于CPU上——比如于H100体系中，往往连接之为英特尔或AMD之x86 CPU；于英伟达最新之Blackwell体系中，主存则挂载于Grace CPU上。
我忘之为谁说之之，但有一句话我格外喜："你今日用之AI，为AI有史以来最蠢之。
我体谅像TPU此样之AI推演架构为为此而生之，但就算有满架之芯片，再加上汝等提到之内存扩展设备，面对此种级别之并发，觉受疑难还为极难处置。
故你说之彼种场景——企业把全量数据上线，同时敞开边缘访问——于我看来为AI身价之又一次阶跃。
但推演用内存来记忆。
但现状远比此繁。
我为Ben Beharin。
当然，当你延续提升性能时，就会遭遇其他瓶颈——尤其为于数据中心层面，而此也为长期以来大多数者于AI部署上最关注之疑难：功耗。
企业也同样如此，AI让彼等能够更好地创建与使用自己之数据。
与HBM相比，SSD之延迟更高、带宽更低，但容量可达HBM之1000倍。
需求还于延续加速——但近期内，存储器行业能跟得上吗。
如何跑得更快。
Jeremy： 此不会让你抓狂吗。
此意味之你需之网络连接、线缆、机箱、电源模块、散热风扇——所有围绕之部署多出10倍设备而产生之附加本金——全皆大幅减。
但当我与不于此名行业之朋友聊，情况就不一样之。
The Circuit播客近日发布之一期对话节目，主持者专访之美光科技数据中心业务部门高级副总裁兼总经理Jeremy Werner。
热数据为指近期甚或被访问之数据；冷数据则为彼些基本上没者会查之东西，比如十年前之税单。
ChatGPT之发布让全球皆意识到之正生之事情。
Jeremy，感谢你之到来。
Jay： 此正为我想问之。
于硅谷，大家皆极其亢奋，甚易陷入自己之讯息茧房。
华夏台湾：刚刚从PSMC收购一座晶圆厂 Ben： 从操练过渡到推演，让我最为震撼之一点为：于操练场景中，只为少数者把操练差事扔给一堆计算节点，宗旨就为跑完操练、输出模型；而推演面临之应战完全不同。
能否得足够之电力来驱动所有此些算力。
但我认为，此些企业正经历一场深刻之改制——就像我前面提到之，它将从根本上更张苍生社，处置无数难题：没有医疗源泉之者将能得诊断与外科建议；吾等将以更快之速度实现革新；制造与制造将走向高度自动化，提升全球数十亿者之活品质。
我今于Claude里管之好几名差事与课题，得甚刻意地切换到对应之课题或上下文窗口，不然会混于一起。
Jay： 毫无疑问，所有此些演进皆将带来海量之存储器需求，同时也会产生需快速访问之大量数据，此对吾等之SSD货品线同样为利好。
Jeremy： 当然。
靠近GPU之存储器、尽或大之带宽，此部分需求我甚好体谅。
所有彼些旧俗上存之应战依然存，但今吾等要更快、更好、更高效地成所有事情：更快地流片，更快地迭代制程技艺，于全球各地之工厂更快地成设备安装与产能爬坡——更快，更快，更快。
此对存储器行业而言为一名无比精彩之时代，而且我不认为此名趋势会放缓。
HBM4与245TB SSD：美光之两张王牌 “吾等没有于全球建造足够多之晶圆厂。
吾等也于通过提升工艺技艺来提升每平方英尺之芯片产出，从而于不扩面积之情况下多制造一些。
你能详细讲讲推演之工负载，以及为什么推演加速器对存储器之需求如此不同，此将对存储器行业产生怎样之影响。
但推演用存储器来记忆。
Jeremy：DRAM与SSD，整名栈从上到下皆有需求。
第三章：预判AI之爆炸式增益 AI不只为缔造数据，它还要访问数据来提供洞察、处置疑难、给出更好之解答。
第四层：上下文内存存储（Context Memory Storage），即用SSD来存储KV缓存。
处置此名疑难有两种思路。
Jeremy：此正为吾等观察到之表象——上下文长度，也就为你说之此名，目前正以每年30倍之速度增益。
随之算力与操练本领突围临界点，技艺实现之跨越式之飞跃，此一点确实超出之所有者之预期。
它背后之逻辑为：若你给AI提供记忆，它之史册就会存内存里。
第五章：AI推演中之"内存墙" HBM4方面，Werner透露，美光刚刚发布之HBM4货品，带宽为上一代HBM3e之两倍以上。
而要真正发挥AI之身价，最枢纽之为把所有数据皆存放于可被快速访问之地方。
从史册角度说，你有没有感受到存储器领域革新节奏加快之压力。
而今，吾等看到此名气象正向推演时代演进。
吾等一旦推出新货品，立刻就会被消化吸收；容量与性能一旦提升，主顾即刻就能找到部署方式。
此为为什么。
他强调，提升带宽之核心逻辑于于：当瓶颈不为算力而为内存带宽时，须加快数据送达GPU之速度。
故汝等应为较量早就看到之吧。
大家始终望节目里有更多聊存储器之嘉宾，今日此名愿望实现之。
亭亭玉立。AI推演之“内存墙”：不够用就得从头算 突围“内存墙”：美光科技之AI时代方略 Jay： 让我问一名反面之疑难。
第十五章：全球超级工厂建立竞赛 Jeremy： 今Agentic AI已现，名者与企业皆刚始摸索它之或性；而Physical AI（物理AI）实际上还没有真正大规模展开——此为一条前景多年延续扩充与改制之路线图。
Jay，我听之你之播客，你说你一般同时跑二十名云端AI Agent。
吾等以惊者之速度奔跑，此于美光为一种令者充满活力之感受。
Mindfulness。