ÍÆËã»úѧԺÍõ껽ÌÔ±ÍŶÓÔÚÌìȻ˵»°´¦Öö¥¼¶»áÒéEMNLP2023°ä·¢×îгɾÍ

°ä²¼¹¦·ò£º2023-10-12Ͷ¸å£º°¬Ãô ²¿ÃÅ£ºÍÆËã»ú¹¤³ÌÓë¿ÆÑ§Ñ§Ôº ä¯ÀÀ´ÎÊý£º

½üÈÕ£¬ÈËΪÖÇÄÜ/ÌìȻ˵»°´¦ÖÃÁìÓòµÄ¶¥¼¶¹ú¼ÊѧÊõ»áÒéEMNLP 2023ÂÛÎĽӹÜÁ˾ְ䲼¡£À´×Ôб¦GGÍÆËã»úѧԺÌìȻ˵»°´¦ÖÃÓë¶àģ̬ÈË»ú½»»¥³¢ÊÔÊÒµÄ2ƪÂÛÎı»½Ó¹Ü¼Óá£EMNLPÈ«³ÆÌìȻ˵»°´¦Öþ­Ñé²½Öè»áÒ飨Conference on Empirical Methods in Natural Language Processing£©£¬×÷Ϊ¹ú¼Ê˵»°Ñ§»á(ACL)ÏÂÊôµÄSIGDATÓ××éÖ÷°ìµÄÌìȻ˵»°´¦ÖÃÁìÓòµÄ¶¥¼¶¹ú¼Ê»áÒ飬ÊÇÈËΪÖÇÄÜ/ÌìȻ˵»°´¦ÖÃÁìÓò³ÁÒª¹ú¼ÊѧÊõÊ¢»á£¨CCF-BÀࣩ£¬ÒÔÉÏÁ½Æª¹¤×÷Ϊб¦GG³õ´ÎÔڸûáÒé½Ó¹ÜµÄÂÛÎÄ£¬Õ¹Ê¾Á˽üÄêÀ´ÍÆËã»úѧԺѧ¿Æ½¨Éè¡¢×êÑÐÉúÈ˲ÅÔì¾Í¹¤×÷²»ÐÝ»ñµÃеÄÍ»ÆÆ¡£

±»Â¼ÓÃÂÛÎĵļòÒª½éÉÜÈçÏ£º

1. Vision-Enhanced Semantic Entity Recognition in Document Images via Visually-Asymmetric Consistency Learning

ÀàÐÍ£ºMain-conferenc

×÷ÕߣºÍõ껣¨½²Ê¦£©¡¢³ÂÏÄ»ª£¨2021¼¶Ë¶Ê¿×êÑÐÉú£©µÈ

¼ò½é£º´ÓÊÓ¾õ·á˶µÄÀà±íµ¥Îĵµ (VFD) ÖÐÌáÈ¡ÊôÓÚÔ¤Ô¼ÒåÀà´ËÍâʵÌåÊÇÒ»ÏîÓµÓÐÌôÕ½ÐԵŤ×÷¡£Ë¼¿¼µ½Ò»ÑùÀàÐ͵ÄÓïÒåʵÌåͨ³£ÓµÓÐÀàËÆµÄÊÓ¾õºÍ²¼¾ÖÊôÐÔ£¬ÈçÒ»Ñù»òÀàËÆµÄ×ÖÌå¡¢²¼¾°¡¢É«²ÊÒÔ¼°Ììǵ¿òµÄµØÎ»ºÍ´óÓ×£¬ÕâΪ¼ø±ðʵÌå¼°ÆäÀàÐÍÌṩÁ˳ÁÒªµÄÅúʾ¡£È»¶ø£¬ÏÖÓÐÄ£ÐͽöÔÚԤѵÁ·½×¶Î²ÎÓë´ÖÁ£¶ÈµÄ¿çÄ£Ì¬Ô¼Êø£¨ÀýÈçÎı¾Í¼Ïñ¡¢×Ö²¹¶¡ºÍ²¼¾ÖÎı¾¶ÔÆë£©À´¼ÓÇ¿ÊÓ¾õͨ·µÄÌØµãÌáÈ¡£¬µ«Õâ²¢²»Äܲ¶»ñ×ã¹»µÄϸÁ£¶ÈÊÓ¾õÌØµã²¢ÇÒÊÓ¾õÏÈÑé֪ʶµÄÀûÓò»¼°¡£Æä´Î£¬Ö®Ç°µÄ²½ÖèÊÓ¾õ±àÂëÆ÷µÄ°µÊ¾ÄÜÁ¦±È×îеĹâѧ×Ö·û¼ø±ð£¨OCR£©ÒýÇæÖеÄÊÓ¾õ±àÂëÆ÷Èõ£¬ÓÉÓÚËüÃÇûÓÐ˼¿¼Îı¾¶Î¼ì²âºÍÌìǵ¿ò»Ø¹éµÈÖÐÑ빤×÷£¬¶øÕâЩ¹¤×÷¶ÔÓÚÕýÈ·¶¨Î»ºÍÌáȡϸÁ£¶ÈÊÓ¾õÌØµã¼«¶È³ÁÒª¡£Òò¶ø£¬ÍŶÓÌá³öÁËÒ»ÖÖÐÂÏʵÄÊÓ¾õ²»ºÏ³ÆÒ»ÖÂÐÔ½ø½¨£¨VANCL£©£¬Í¨¹ý½áºÏÉ«²ÊÏÈÑéÀ´¼ÓǿģÐͲ¶»ñϸÁ£¶ÈÊÓ¾õºÍ²¼¾ÖÌØµãµÄÄÜÁ¦¡£

1.png

ͼ1 VANCLË«Á÷Ò»ÖÂÐÔ½ø½¨¿ò¼Ü

VANCLѡȡһÖÖË«Á÷Ò»ÖÂÐÔ½ø½¨µÄ¿ò¼Ü½«¼ÓÇ¿µÄÊÓ¾õÐÅϢǨáãÖÁԭʼģÐÍ£¬ÓµÓÐÎÞ²ÎÊýÒýÈë¡¢¿É°Î²åʽµÄÓÅÊÆ£¬ºóÐø³¢ÊÔÖ¤ÁËÈ»·ÖÆçÉ«²ÊģʽÓëÈËÀàÐÐΪӵÓп϶¨ÓйØÐÔ£¬É«²Ê´îÅäģʽ¶ÔÁ˾ֵÄÓ°ÏìÊÇÇкÏÈÏÖªÉúÀíѧµÄ¡£

2.png

ͼ2 ·ÖÆçÊý¾Ý¼¯¡¢·ÖÆç¹Ç¸ÉÄ£Ð͵ĻúÄܱÈÁ¦

2. DocTrack: A Visually-Rich Document Dataset Really Aligned with Human Eye Movement for Machine Reading

ÀàÐÍ£ºFindings

×÷ÕߣºÍõ껣¨½²Ê¦£©¡¢ÍõÇìÐý£¨2022¼¶Ë¶Ê¿×êÑÐÉú£©¡¢ÀîÔ½£¨2019¼¶±¾¿ÆÉú£©µÈ

¼ò½é£º ¸÷ÁìÓò¶ÔÊÓ¾õ¸»ÎĵµµÄʹÓ㬴ßÉúÁ˶ԿÉÄÜÏñÈËÀàÒ»ÑùÔĶÁºÍÀí½âÎĵµµÄÎĵµÈËΪÖÇÄÜÄ£Ð͵ÄÐèÒª£¬Õâ±ØÒª¿Ë·þ¼¼Êõ¡¢Ëµ»°ºÍÈÏÖª×è°­¡£Òź¶µÄÊÇ£¬²»×ãÏàÒ˵ÄÊý¾Ý¼¯ÑϳÁ¹ÊÕÏÁËÕâÒ»ÁìÓòµÄ·¢Õ¹¡£ÎªÏàʶ¾öÕâ¸öÎÊÌ⣬¸ÃÍŶӹ¹½¨ÁËÒ»¸öȫеÄÊý¾Ý¼¯ DocTrack£¬ÕâÊÇÒ»¸öÔ̺¬Á˶àÖÖÀàÐÍÊÓ¾õ¸»ÎĵµµÄ¶àģ̬Êý¾Ý¼¯£¬²¢ÀûÓÃÑÛ¶¯¸ú×Ù¼¼Êõ×½ÄÃÈËÀàÑÛ¶¯ÐÅÏ¢£¬Ô®ÊÖ×êÑÐÕ߸üºÃµÄÀí½âÈËÀàÔĶÁÈÏÖª¹ý³Ì¡£

´Ë±í£¬ÍŶӻ¹Ì½ÇóÁË·ÖÆçÔĶÁ°¤´Î¶ÔÎĵ·í½â¹¤×÷µÄÓ°Ï죬ÓÉÓÚĬÈϵÄOCRÒýÇæ½âÎöºóµÄÎĵµÄÚÈݰ¤´ÎÍùÍùÊÇÎÞ·¨¹æµÄ£¬²»ÀûÓÚ»úеÀí½âÊÓ¾õ¸»Îĵµ£»ÏÖÓеÄÄ£ÐͲ»×ã´Ó¸ø¶¨ÎĵµÖвúÉúÊʺÏTransformer¼Ü¹¹ÐòÁл¯ÊäÈëµÄÄÜÁ¦¡£Òò¶ø£¬¸Ã×êÑÐË÷ÇóÈôÊÇ»úеÒÀÕÕÓëÈËÀàÒ»ÑùµÄ°¤´ÎÔĶÁ»á²úÉúʲô£¬ÔÚ OCRԭʼ°¤´Î¡¢Z-OrderºÍÈËÀàÔĶÁ°¤´ÎÈýÀà·ÖÆçµÄ°¤´ÎµÄ»ù´¡ÉÏ£¬Ì½Ë÷ÁËÔĶÁ°¤´Î¶Ô»úеÊÓ¾õ¸»Îĵ·í½âµÄÓ°Ï졣ͬʱ£¬Ìá³öÁË»ùÓÚ¶àÄ£Ì¬ÌØµãÈںϵÄÅÅÐòÄ£ÐÍÀ´·ÂÕÕÈËÀàµÄÔĶÁ°¤´Î£¬Ã¿¸öÄ£ÐͶ¼Ë¼¿¼µ½ÁËÓ°ÏìÈËÀàÈôºÎÑ¡ÔñÓÅÏÈÔĶÁ¶ÔÏóÔªËØµÄ·ÖÆç³É·Ö£¬Ô̺¬ÔªËصĵØÎ»¡¢ÔªËØÖеÄÎı¾ÒÔ¼°ÓëÖ®ÓйصÄÊÓ¾õÇøÓò¡£ÀûÓÃÕâЩģÐÍ£¬ÎÒÃÇÄܹ»¸üÕýÈ·µØÆÀ¹ÀÔĶÁ°¤´Î¶ÔÈËÀàÀí½â´ËÀàÎĵµµÄÓ°Ïì¡£

3.png

ͼ3 ·ÂÕÕÈËÀàÔĶÁ°¤´ÎµÄÅÅÐòÄ£ÐÍ

¸Ã×êÑнøÒ»²½»ùÓÚËÄÖÖ·ÖÆçµÄģ̬×éºÏÈ¥·ÂÕÕÈËÀàÔĶÁ°¤´Î£¬²¢»ùÓÚËùÔ¤²â³öµÄ°¤´Î£¬¹¹½¨ÁËÏàÓ¦µÄ»úеÎĵ·í½âÄ£ÐÍ¡£³¢ÊÔÁ˾ÖÅú×¢£¬ËùÌá³öµÄÄ£ÐÍÄܹ»·ÂÕÕµÄÈËÀàÔĶÁ°¤´Î£¬ÇÒÓëÕæÊµÈËÀàÔĶÁµÄ°¤´ÎÓµÓкܸߵÄÓйØÐÔ¡£

4.png

ͼ4 DocTrackÊý¾Ý¼¯ÉÏÈËÀàµÄÔĶÁ°¤´Î¶Ô»úеÀí½âÊÓ¾õ¸»ÎĵµµÄÓ°Ïì

µ±È»£¬¹ÌÈ»ÎĵµÈËΪÖÇÄÜÄ£ÐÍÒѾ­»ñµÃÁ˳ÁÃͽøÕ¹£¬µ«ÒªÏñÈËÀàÒ»ÑùÕýÈ·¡¢Â½Ðø¡¢½Ã½ÝµØÔĶÁÊÓ¾õÄÚÈݸü·á˶µÄÎĵµ£¬»¹Óкܳ¤µÄ·Ҫ×ß¡£

½üÄêÀ´£¬ÍÆËã»úѧԺѧ¿Æ½¨Éè¡¢È˲ÅÔì¾Í¡¢¿ÆÑ§×êÑеȹ¤×÷²»ÐÝÉîÈëÍÆ¶¯£¬Öð²½Éî¿ÌרҵÁìÓòÇ°ÑØ£¬²ú³ö¸ü¶à¸ßÖÊÁ¿¿ÆÑгɾÍ£¬ÎªÑ§ÔºÔì¾Í¸ßÖÊÁ¿´´ÐÂÈË²ÅÆðµ½³ÁÒªÖ§³Ö×÷Óá£

¡¾ÍøÕ¾µØÍ¼¡¿