ÚÀ£¬Èê»áÏþÎÞ£¬×î½üÓÐÈËÎÊÎÒÎ人»ÆÚéÇøµÄСÏï×ÓÓÐʲرºÃ½²µÄ¡£ÎÒ¹²Èê½²‡Ó£¬Õâ¸öµØ·½¿ÉÊÇÒ°ÓÐ棬Ïñ¸£ÖݵÄÈý·»ÆßÏ×ß½øÈ¥Ò»ÌË£¬ÈÆÀ´ÈÆÈ¥¶¼ÊǹÊÊ¡£
ÎÒ¹Ìϸ³½ºòÌýÎÒ¹«½²£¬Î人»ÆÚéÇøµÄСÏï×Ó£¬¿É²»ÊÇÒ»°ãµÄÏï×ÓŶ¡£Õâ½éÂËüÓÐ×ÅÀÏÎ人Æä棬ËäÈ»ÎÞÏñ¸£ÖÝÆäÓãÍèÄÇÑù×ÅÃû£¬µ«ËüµÄ¡°Î¶µÀ¡±ÊÇ¿´²»¼ûµÄ£¬ÒªÓÃÐÄÈ¥¸ÐÊÜ¡£
СÏï×ÓÀïµÄ¡°°µÃŵÀ¡±
Î人»ÆÚéÇøµÄСÏï×Ó£¬ÐÐÆðÀ´¿ÉÕæÊÇÈÆÀ´ÈÆÈ¥£¬ÏñÈý·»ÆßÏïÀïÃæµÄÏïÏïŪŪ¡£×Å¿©£¬Ðí¶àÙ¯Ò»ÐнøÈ¥£¬¾Í¾õµÃ×Ô¼ºÏñ×ßÃÔ¹¬Ò»Ñù£¬ÆäʵÀïÃæÓÐÐí¶à¡°°µÃŵÀ¡±¡£
͵͵¹²È꽲Ŷ£¬ÕæÕý»áÏþÐÐÎ人»ÆÚéÇøÐ¡Ïï×ÓµÄÀÏÒÀ²®£¬¶¼ÊÇ´ÓÏï×ÓÀïÍ·µÄµØ×©ÉÏÈ¥ÕÒÏßË÷µÄ¡£Ðí¶àµØ×©ÊÇÓÐÄê´úµÄ£¬²ÈÉÏÈ¥»áÓвî±ðµÄÉùÒô¡£Õâ¾ÍÊÇÀϱ²Ù¯´«ÏÂÀ´Æä¹æÔò£¬ÈêÈôÊÇ»áÌý£¬²Å»ª·¢Ã÷Ðí¶àÒþ²ØµÄºÃµØ·½¡£
Ïï×ÓÀïµÄÀÏζµÀ
ÉÏ»ØÎÒ´øÎÒàîÈ¥Î人»ÆÚéÇøÐ¡Ïï×Óµ´µ´£¬Ðе½Ïï⣬¿´¼ûÊñ¼äÃÅÃæÆ½Æ½Æä¹ø±ßµê£¬µ×Ëù×ø¼¸Î»ÀÏÒÀ²®×ÅÏÂÆå£¬ÐíÖÖζµÀµ´³öÀ´£¬ÊµÔÚÒ°ÓÐζ¡£±Ë¿ÌÎҾ͸ÐÊÜ£¬ÕâÕýÕýÊÇÀÏÎ人Æäζ¡£
ÕâÖֵط½£¬ÈêҪȥÊÔÊÔÏï×ÓÀïÍ·µÄС³Ô¡£ËäÈ»ÎÞ¸£ÖÝÆäÓãÍè¡¢¹ø±ßºýÄÇôÓÐÃûÆø£¬µ«Õâ½éÂÏï×ÓÀïµÄС³ÔÊÇÓÐËü×Ô¼ÒÆä·ç×Ë£¬ÏñÊÇÎ人µÄ¶¹Æ¤¡¢ÈȸÉÃæ£¬¶¼ÊÇÒªÔÚÏï×ÓÀïÍ·³Ô£¬²ÅÏþµÃËüÆäÕæÎ¶¡£
Èê¿ÉÄÜ»áÎÊ£¬ÕâЩСÏï×ÓÀïÁíÓÐÊ²Ø±ÌØ±ðÖ®´¦£¿ÕÕÎÒ¿´‡Ó£¬×îÌØ±ðµÄ¾ÍÊÇËüµÄ¡°»îÆø¡±£¬ÈËÀ´ÈËÍù£¬ÐÐÔÚÀïÃæ£¬Ëƺõʱ¼ä¶¼ÂýÏÂÀ´ÁË¡£ÕâÖÖ¸ÐÊÜ£¬Ö»ÓÐÇ×ÉíÌå»á²Å»ªÖªÓ°¡£
±êÇ©£ºÎ人»ÆÚéÇøÐ¡Ïï×Ó¡¢Ïï×ÓÀïµÄ¹ÊÊ¡¢ÀÏÒÀ²®µÄ¹æÔò¡¢Î人ζµÀ¡¢Ð¡³ÔÌ½ÃØ
¡¶Íþº£ÍíÉÏÄеĺÃÍæµÄµØ·½¡·
8¼Ò»ù½ð¹«Ë¾¶¼½«IMMÄÉÈëÔËÓªÁ÷³Ì£¬ÓÉÆäÒýµ¼Í¶×ʾö²ß£¬·ºÆðÓ°ÏìÁ¦¼¨Ð§£¬·´Ó¦Í¶×ÊÈ˶¯»úµÄÂäʵÇé¿ö¡£¸÷¹«Ë¾¶¼¶ÔIMM×öÁËÏ൱µÄÅû¶£¬ÆäÖÐ7¼ÒÐû²¼ÁËרҵµÄÓ°ÏìÁ¦±¨¸æ¡£
¡¶ÑĮ̀ÄÄÀïÓÐЧÀÍ¡·
Áõ¾ÀíÖØµã¸æËß¼ÇÕߣ¬×÷ÎªÖÆ×÷Ðé¼Ù¿Î³Ì½²×ù¡¢¸ß¼Û¶µÊÛÒ©Æ·¿ÓÆÀÏÄêÈ˵ÄÉ̼ң¬Õâ¶Îʱ¼äÒªµÍµ÷ÐÐÊ£¬Ö÷Òª¾ÍÊÇÒªÖÆÖ¹ÒýÆð¡¶3¡¤15Íí»á¡·µÄ×¢Òâ¡£
¡¶ÒË´º±£ÀûÊг¡¼¸¶àÒ»´Î¡·
±ðµÄ£¬Ä£ÐÍÒýÈëÁË¡°Ç±ÔÚ MoE£¨Latent MoE£©¡±Ð¼¼Êõ£¬ÒÔµ¥¸öר¼ÒµÄÅÌË㱾Ǯ¼¤»îËĸöר¼Ò£»²¢Ö§³Ö¶à Token Ô¤²â£¬ÈÃÍÆÀíËÙ¶ÈÌáÉý 3 ±¶¡£ÔÚӢΰ´ï Blackwell ƽ̨ÉÏ£¬¸ÃÄ£ÐÍÒÔ NVFP4 ¾«¶ÈÔËÐУ¬Ïà±È Hopper ¼Ü¹¹É쵀 FP8£¬ÄÚ´æÐèÇó¸üµÍÇÒÍÆÀíËÙ¶È¿ì 4 ±¶¡£