ÚÀѽ£¬ÎÒ¸úÄã½²°¡£¬×î½üÎÒÌýºÃ¼¸¸öÀϸçÃǶù¶¼ÔÚßëà¾Õâ¸ö¡°Ô¼ÍâÂôС½ã¡±µÄʶù¡£ÄãËÃ÷ÈÕ¦Õû£¬Õ⹤¾ß°É£¬ÍâòÉÏ¿´×žÍÊǸö¼òµ¥Ê¶ù£¬µ«ÀïÍ·µÄÃŵÀ¿É²»ÉÙÄØ£¡ÌرðÊǶÔÔÛÃǶ«±±ÈË£¬ÍâÂôС½ã¿ÉÊÇÈÃÈËÓÖ°®Óֺ޵ĽÇÉ«£¬ÄãÖªµÀ²»£¿ÄÇÌìÎÒ×ø³ö×â³µµÄʱºò£¬Ë¾»úʦ¸µ¾Í¸úÎÒ³¶¶¿×Ó˵£¬ËûÓиöÐÖµÜÏëÔ¼¸öÍâÂôС½ã³öÀ´Ó÷¹£¬½á¹ûÕûµÃÔôÞÏÞΡ£Äã¿´Õâʶù£¬ÊDz»ÊÇÓÐÒâ˼£¿
ßëßëÍâÂôС½ãµÄÃŵÀ
Äã¿´°¡£¬ÍâÂôС½ã°É£¬ÔÛÃǶ«±±ÕâµØ·½£¬ÓÈÆäÊÇ´ó¶¼»áÀïÍ·£¬ÏñÉòÑô¡¢¹þ¶û±õÕâЩµØ·½£¬ÍâÂôС½ãËͲͿÉÊÇÒ»´óÌØÉ«¡£¿É±ðС¿´ËýÃÇ£¬ËýÃDz»¿ÉÊÇËͲͣ¬»¹µÃ·çÀïÀ´ÓêÀïÈ¥µÄ£¬ÄãËÃ÷ÈÕâ»î¶ù¶à½ûÖ¹Ò×°¡£¡ËùÒÔ˵£¬ÏëÔ¼ÍâÂôС½ã£¬ÄãµÃÏÈÃ÷°×È˼ÒÕâÊÂÇéÐÔÖÊ£¬É¶Ê±¼äÄܳöÀ´£¬É¶Ê±¼äµÃæ»î¡£
ÇÄÃþ¸æËßÄ㣺ÏëÔ¼µÄ»°£¬×îºÃ±ðÑ¡·¹µã¶ù£¬È˼ÒÄÇʱºò¿ÉÊÇÀÏæµÄ¡£ÄãÒªÊÇÏëÕû³É£¬×îºÃÊÇÏÂÎçÈýËĵã»òÕßÍíÉϾŵãÖ®ºó£¬ÄǸöʱºòÈ˼ÒÒ»°ãûÄÇôæ¡£
¶«±±È˵ÄС¾Ñé
ÎÒÄêÇáÄÇ»á¶ù°¡£¬¶«±±È˽²¾¿¸öʵÔÚ£¬Ô¼ÍâÂôС½ãÒ²µÃÓеã·×Ó¡£ÄãµÃÏȸúÈ˼Òßëà¾ßëྣ¬Õû³öµãÊìÂçµÄ¸ÐÊÜÀ´¡£Äã˵ÊDz»ÊÇ£¿²»¿ÉÉÏÀ´¾ÍÖ±±¼Ö÷Ì⣬È˼ÒÅ®ÈËÐÄÀïÒ²µÃ×ÁÄ¥×ÁÄ¥ÄãÊDz»ÊÇ¿¿Æ×£¬ÊDz»£¿¼ÇµÃÓдΣ¬ÎÒÁÚ¾Ó¼ÒС»ï×Ó¾ÍÊÇÕâô°ìµÄ£¬ÏÈÔÚÍâÂôƽ̨ÉϵãÁËÆµÆµ²Í£¬¸úÄÇС½ã½ã»ìÊìÁË£¬²Å˳ÀûÕû³ÉÔ¼³öÀ´ºÈ±¿§·È¡£
Ò»¸öÀϱ²ÈË´«ÏÂÀ´µÄ¹æÔò£º¶«±±È˽²¾¿¸öÐijϣ¬ÄãÒªÊÇ¿ÒÇÐÖÁÐĵضÔÈ˼Һã¬ÍâÂôС½ãÒ²»á¸øÄã¸öÃæ×Ó¡£Õâ¾Í¸úÔÛ¶«±±µÄìÀ²ËËÆµÄ£¬»ðºòµ½ÁË£¬Î¶¶ù¾Í¶ÔÁË¡£
ßëµ½Õâ¶ù£¬Äã¿ÉÄܵÃÎÊ£¬ÄÇÍâÂôС½ãÔ¼³öÀ´Ö®ºó£¬Õ¦Õû£¿Õâ¸ö°É£¬ÄãµÃ¿´¸úÈ˼ÒÁĵÃÕ¦Ñù£¬ÐËÐí»¹ÄÜÕûµã±ðµÄÔ˶¯ÄØ£¡²»¹ý¼Ç×Å£¬×ðÖØÊÇ×îÖØÒªµÄ£¬Òª²»È»¾ÍÕæÃ»É¶ºÃßëµÄÁË¡£
±êÇ©£ºÔ¼ÍâÂôС½ã¡¢¶«±±ßëྡ¢ÍâÂôС½ãµÄÊÂÇé
¡¶ÄϾ©¾«½ð»¨Ô°ÔõôÕÒЧÀÍ¡·
ÁÐ±í¼¶Æ«ºÃ¶ÔÆë£¨Listwise Preference Alignment£©£ºÓÃÒþʽ·´Ïì¡°Ö±½ÓÓÅ»¯ÕûÁÐÌåÑ顱ΪÁËÍ»ÆÆÔ¤ÑµÁ·¡°Ö»ÄÜÄâºÏÂþÑÜ£¬ÎÞ·¨Çø·ÖÓÅÁÓ¡±µÄ¾ÖÏÞ£¬Í¬Ê±½â¾öÄ¿½ñÇ¿»¯Ñ§Ï°¹¤ÒµÂäµØÆ¿¾±£¬HiGR ½ÓÄÉÁË ORPO Ëã·¨£º
¡¶À¥Ã÷³ÇÖдåÊìÅ®¡·
½üÀ´»ñµÃÆÄ¶à¹Ø×¢µÄOPC¡°Ò»È˹«Ë¾¡±£¬Ò²ÊÇÇൺÅàÓý׳´óж¯ÄܵÄÒ»¸öÖØµãÇпڣ¬¶¼»á×ÊÔ´½«¸ü¶àÏòÓÐÏë·¨¡¢Óо¢Í·µÄ¸öÈË´´ÒÃ÷ÈÕßÇãб¡£
¡¶ÔõôÕÒËÄÖܵÄÌØ±ðЧÀÍ¡·
Òø´¨3ÔÂ6ÈÕµç (¼ÇÕß ÀîÅåɺ)¼ÇÕß6ÈÕ´ÓÄþÏÄÒø´¨ÊÐÈËÃñ¶ÔÍâÓѺÃлá»ñϤ£¬½ØÖÁĿǰ£¬Òø´¨ÒÑÓëÑÇÖÞ¡¢·ÇÖÞ¡¢Å·ÖÞ¡¢´óÑóÖÞµÄ14¸ö¶¼»á½¨Á¢Á˹ú¼ÊÓѺö¼»á¹ØÏµ£¬ÓëÑÇÖÞ¡¢Å·ÖÞ¡¢±±ÃÀÖÞµÄ10¸ö¶¼»áÇ©ÊðÁ˹ú¼ÊÓѺö¼»á±¸Íü¼¡£¹ú¼ÊÓѳǵÄÊýÁ¿ÔÚÖйúÉÙÊýÃñ×å×ÔÖÎÇøÊ׸®¶¼»áλÁеڶþ¡£