每经记者 张宏    每经裁剪 马子卿     跳蛋 露出

12月12日，“破裂新规模·智见新翌日”2024大模子期间与讹诈革命论坛在北京举行。会上，中国工程院院士、清华大学计较机系进修郑纬民默示，本年大模子发展有两个特色，第一是基础大模子参预多模描述态，文本以外，还有图像、视频，也即是多模态。第二是“用起来”，“大模子+”讹诈于百行万企，如“大模子+金融”“大模子+医疗”“大模子+汽车”“大模子+智能制造”等。

他默示，我国在“大模子+”限制，有但愿向上好意思国。通过评释大模子生命周期的五个活动，郑纬民合计，刻下大模子发展的难点在于算力、存储、时期资本。构开国产万卡系统要紧但尚存费力，需要幸免“木桶效应”。

郑纬民通过评释大模子生命周期的五个活动，论述刻下大模子发展的难点。他先容，大模子生命周期的五个活动分辩是数据获得、数据预处理、模子试验、模子微长入模子推理。

在数据获得活动，中枢任务是从公共各地网罗试验数据。尽管网罗到的文献体积较小，成心于从简存储空间，但数目极其宏大，达到数百亿个。这些文献需要被存储在硬盘上，并记载其在硬盘上的具体位置跳蛋 露出，这个经由被称为源数据处理。由于文献数目巨大，需要多台计较机协同使命以存储、追忆这些位置，这对计较机来说是一项挑战。跟着位置数目的加多，查找特定文献的位置变得愈加耗时，因此若何高效地存储和检索数据成为数据获得阶段的要害问题。

其次是数据预处理活动。在这一阶段，网罗到的数据由于质料错杂不皆、局势不一致，而且包含告白、同样内容等不需要的信息，因此需要进行预处理以普及数据质料。预处理包括去除同样内容、告白等，以确保数据质料的提高粗略带来更好的试验放弃。预处理经由额外复杂，据统计，在GPT4的试验经由中，预处理占据了一半的时期，成为试验着力的瓶颈。若何提高预处理的速率，是大数据处理中的一个难题。

第三阶段是模子试验。这一阶段需要无数的算力和存储空间，最终得到基础大模子，濒临的问题无边。举例，如若在试验经由中硬件出现故障，就需要从新运转试验。为了幸免这种情况，不错在试验到一定时期后主动暂停，记载那时的硬件和软件环境，以便在故障发生后粗略从记载的点延续试验，而不是从新运转。然则，关于大模子来说，试验数据量巨大，主动保存数据到硬盘可能需要数小时，这会导致着力低下。因此，若何裁汰这照旧由，使其在10到20分钟内完成，是试验阶段需要措置的问题。

第四阶段是模子微调。基础大模子天然已经试验完成，但若要讹诈于特定限制，如医疗，还需要进一步的试验。微调是在基础大模子的基础上，针对特定限制的数据进行的第二次试验。举例，基础大模子试验数据中病院的数据量太少，因此需要在基础大模子的基础上进行微调，以相宜病院的需求。这个经由不错延续细分，举例，不错针对B超数据进行第三次试验，以得到故意用于B超的模子。微调践诺上是在基础大模子的基础上，把柄不同限制的需求酿成限制、行业大模子。

终末是模子推理阶段，这是模子践诺讹诈的经由。推理阶段同样需要无数的算力和存储，而且耗时较长。总共这个词大模子的开发经由都需要推敲到算力和存储的需求，以实时期资本。

谈到产业期待，郑纬民院士默示，构开国产万卡系统（由一万张及以上的加快卡，包括GPU、TPU偏激他专用AI加快芯片，构成的高性能计较系统）很要紧。现在，他乡卡、异构卡试验成果较差，资金有限的公司暂时不要推敲，资金充裕的公司不错尝试。

最初，万卡系统的要紧性了然于目，咱们都相等但愿粗略领有这么的系统，但现在的发展景况并不睬念念，完了起来额外费力。构开国产万卡系统不仅要紧，而且难度很大。由于外部供应受限，咱们遑急需要拓荒我方的万卡系统，尽管这是一个遏止的任务。对万卡系统而言，所谓的“好”，指的是一朝建成，粗略被平方经受并合计好用，但要达到这么的目标相等具有挑战性。

现在，咱们构建的卡系统用户经受度若何？举例，第一块卡来自A公司，第二块来自B公司，第三块来自C公司。当这些卡一皆使用时，使用的成果取决于最差的那张卡。咱们应该幸免这种组合神色，提议减少数目，深刻参谋，幸免“木桶效应”。1000个旧CPU和1000个新CPU组合使用时，性能以致还不如单独使用2000个旧CPU，咱们为什么要这么作念呢？

其次，他乡卡和异构卡在试验中的成果相等差，现在不提议推敲。异构卡和他乡卡的齐集试验成果并不睬念念。在异构卡的情况下，问题变得愈加复杂。即使是静态情况下，咱们也不将它们组合使用，中国东谈主和好意思国东谈主都不这么作念，因为不合算。咱们所说的齐集试验，以及他乡卡的问题，更是难上加难。举例，数据从北京传输到贵州可能需要5天时期，而贵州处理完放弃再发送到上海又需要5天，这若何完了？因此，异构卡和他乡卡的试验成果欠安。资金有限的公司暂时不要推敲跳蛋 露出，资金充裕的公司不错尝试。

纪湘视频在线观看

• 中国
• 跳蛋 露出
• 院士
• 工程院
• 郑纬民