繁体版 简体版
河背小说网 > 15岁,成为国宝级天才科学家 > 第241章 我已经长大了

第241章 我已经长大了

只见肖宿穿着简单的白色t恤和黑色运动裤,背着一个双肩包,神色平淡,和普通的京大学生没什么两样,可周身那种从容不迫的气场,却让人不由自主地心生敬畏。

他身后还跟着林砚,手里抱着一台笔记本电脑。

“肖宿同学,欢迎欢迎!”

周庆宇伸出手,语气里难掩热情,“我是算力研究室的周庆宇,早就听说你的大名,一直想找机会向你请教,没想到你竟然主动来了,真是蓬荜生辉啊!”

肖宿轻轻握了握他的手,语气清朗而平稳:“周老师好。”

想了想又补了一句,“打扰了。”

周庆宇连忙迎上去:“不打扰不打扰,肖宿同学,快请进,这位是……”

“林砚,肖宿的助手。”林砚咧嘴一笑,自觉地把自己定位得很清楚。

周庆宇把他们引到会议区,宋晓曼已经沏好了茶。

肖宿没有坐,目光越过所有人,直接落在了那三排机柜上。

黑色的机柜靠墙排列,指示灯像繁星一样明灭闪烁。

散热风扇的嗡鸣声低沉而持续,像某种巨大生物的呼吸。

透过玻璃柜门,可以看到里面插满了一块块计算卡,线缆整齐地捆扎成束,沿着走线架延伸到天花板上的桥架里。

这是京大高性能计算中心的家底。

三台管理节点,四十八个计算节点,每个节点八张gpu加速卡,总共三百八十四张卡。另外还有两组专门做数据存储的磁盘阵列,和一个从去年才开始搭建的液冷实验集群。

这些设备加在一起,峰值算力大约是两点八个pflops。

这个数字放在国内高校里算得上第一梯队,但跟深度求索那种动辄上万张h100的商业公司比起来,差了一个数量级。

不过肖宿今天来,关心的不是算力总量。

他关心的是算力被使用的方式。

周庆宇站在机柜旁边,开始介绍情况。

“我们目前的调度系统用的是slurm框架,搭配自主研发的能耗管理模块。调度策略上,我们采用的是改进后的加权公平队列算法,结合动态电压频率调节来平衡负载,具体的资源分配逻辑是……”

他说了大概三分钟。

肖宿一直没说话,只是安静地听着,目光在机柜的指示灯和旁边监控屏幕上的实时负载曲线之间来回移动。

等周庆宇说完,肖宿才缓缓开口。。

“你们现在的调度策略,是针对高维特征空间设计的吧?”

周庆宇愣了一下,随即点头:

“对,目前主流的ai训练任务,特征维度都很高,所以我们默认按照高维张量运算的负载模型来分配资源。

这个策略是我们去年在sc会议上发表的,核心思想是把高维张量拆分成多个低维子块,然后分配到不同节点上做并行计算。

业内评价还不错,有几个学校还专门来我们这儿取过经。”

肖宿站在监控屏幕前,目光落在那条负载曲线上,看了一会儿。

实验室里的人都没有出声。

周庆宇站在他侧后方,手里还攥着刚才介绍系统时用来指屏幕的笔,笔帽不知道什么时候被他在指尖转松了,发出细微的咔咔声。

他自己都没注意到。

所有人的注意力都在肖宿身上。

“周老师,你们的调度器在处理通用ai训练任务的时候,节点利用率大概是多少?”

周庆宇微微松了口气,这个问题他答得上来。

“通用任务的话,gpu平均利用率在百分之七十五到八十五之间,峰值能到九十以上。”

他说这话的时候语气里带着一点不明显的底气。

这个数字在国内高校的算力中心里确实算漂亮的,去年sc会议的论文里专门有一段就是分析这个利用率数据的。

肖宿点了点头,没有评价这个数字是高还是低。

他的目光从负载曲线移到了机柜的指示灯上,那一排排绿灯有规律地明灭,像某种呼吸的节奏。

“拿如果跑小智的框架呢?”

周庆宇那点底气一下子散了。

“小智框架我们上周跑过一次基准测试,解耦度确实很惊人,和论文里的数据一致,但是实际运行速度只比传统模型快了三成左右,节点利用率……”

他停了一下,“不到百分之五十。”

“跟我预估的差不多。”

肖宿说这句话的时候语气很平淡。

他走到白板前。

宋晓曼几乎是下意识地往旁边让了一步,手里还攥着那块擦白板的抹布。

“我在设计小智的时候,用了一个前提假设。”

他的手快速的在白板上移动,很快就画出了一张结构清晰的层次图。

“传统大模型的特征空间是高维的,所有信息搅在一起。语义、逻辑、符号,全都在同一个高维向量里。

这种结构下,计算密集度集中在张量收缩操作上,单次计算量大,但跨节点通信的频率低。

通信开销相对于计算开销来说占比很小,所以调度策略把任务拆碎、撒出去、并行跑,是对的。”

他的笔停在第一层和第二层之间。

_c

『加入书签,方便阅读』