Paper Reading

网站截图
1

百度权重
0

百度移动
0

3 6 0权重
0

搜狗权重
浏览热度
SEO查询
更新时间
2024-05-04T00:05:59
网站介绍

网站编号：644
网站URL：http://paperreading.club
最后点入：2024-02-18 17:21:45 · 加入时间：2023-07-16 22:29:52
网站关键词(0个字符):
该站未曾设置keywords
网站描述词(12个字符):
PaperReading
关于paperreading.club说明：
paperreading.club由网友主动性提交被全章节自动收录网站导航整理收录的，全章节自动收录网站导航仅提供paperreading.club的基础信息并免费向大众网友展示，paperreading.club的是IP地址：140.143.194.41 [中国北京北京海淀腾讯云]，paperreading.club的百度权重为1、百度手机权重为0、百度收录为0条、360收录为0条、搜狗收录为0条、谷歌收录为0条、百度来访流量大约在2之间、百度手机端来访流量大约在-之间、paperreading.club的备案号是京ICP备18036300号、备案人叫朱欣鑫、被百度收录的关键词有20个、手机端关键词有0个、迄今为止已经创建5年10月8天。
下载地址: txt下载、docx下载、pdf下载、rar下载、zip下载
本页地址: http://www.quanzhangjie.com/l/c4c1e256f783899c9cc3.html
上一篇：AI论文 – 陪你看AI前沿 | 下一篇：Chatmind: AI-Native Mind Mapping Online by Xmind
SEO综合查询

SEO信息	百度来访IP：2 \| 移动端来访IP：- \| 出站链接：0 \| 站内链接：43
IP网速：	IP地址：140.143.194.41 [中国北京北京海淀腾讯云] \| 网速：925毫秒
ALEXA排名	世界排名：- \| 预估IP：- \| 预估PV：-
备案信息	京ICP备18036300号 \| 名称：朱欣鑫 \| 已创建：5年10月8天
收录	百度	360	搜狗	谷歌
查询	0	0	0	0
电脑关键词	手机关键词	页面友好	首页位置	索引	近期收录
20	0	电脑端优秀	-	0	0
协议类型HTTP/1.1 200 OK 页面类型text/html; charset=utf-8 服务器类型nginx/1.10.3 (Ubuntu) 是否压缩是原网页大小151420 压缩后大小31312 压缩比79.32%
网页快照

                         P a p e r R e a d i n g P a p e r R e a d i n g A I L e a r n e r H o m e T r a n s f o r m e r D i f f u s i o n C h a t E m b o d i e d A g e n t C a p t i o n C o l l e c t i o n s A b o u t W e l c o m e t o A M D S 1 2 3 B l o g ! R e c e n t P a p e r s a b o u t C V , C L a n d S D T h e L a t e s t P a p e r s a b o u t A I C O P Y C O P Y 1 M u l t i S p a c e A l i g n m e n t s T o w a r d s U n i v e r s a l L i D A R S e g m e n t a t i o n 2 0 2 4 0 5 0 2 1 7 : 5 9 : 5 7 Y o u q u a n L i u , L i n g d o n g K o n g , X i a o y a n g W u , R u n n a n C h e n , X i n L i , L i a n g P a n , Z i w e i L i u , Y u e x i n M a • a r X i v _ C V • • a r X i v _ C V   S e g m e n t a t i o n   A u t o n o m o u s   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t A u n i f i e d a n d v e r s a t i l e L i D A R s e g m e n t a t i o n m o d e l w i t h s t r o n g r o b u s t n e s s a n d g e n e r a l i z a b i l i t y i s d e s i r a b l e f o r s a f e a u t o n o m o u s d r i v i n g p e r c e p t i o n . T h i s w o r k p r e s e n t s M 3 N e t , a o n e o f a k i n d f r a m e w o r k f o r f u l f i l l i n g m u l t i t a s k , m u l t i d a t a s e t , m u l t i m o d a l i t y L i D A R s e g m e n t a t i o n i n a u n i v e r s a l m a n n e r u s i n g j u s t a s i n g l e s e t o f p a r a m e t e r s . T o b e t t e r e x p l o i t d a t a v o l u m e a n d d i v e r s i t y , w e f i r s t c o m b i n e l a r g e s c a l e d r i v i n g d a t a s e t s a c q u i r e d b y d i f f e r e n t t y p e s o f s e n s o r s f r o m d i v e r s e s c e n e s a n d t h e n c o n d u c t a l i g n m e n t s i n t h r e e s p a c e s , n a m e l y d a t a , f e a t u r e , a n d l a b e l s p a c e s , d u r i n g t h e t r a i n i n g . A s a r e s u l t , M 3 N e t i s c a p a b l e o f t a m i n g h e t e r o g e n e o u s d a t a f o r t r a i n i n g s t a t e o f t h e a r t L i D A R s e g m e n t a t i o n m o d e l s . E x t e n s i v e e x p e r i m e n t s o n t w e l v e L i D A R s e g m e n t a t i o n d a t a s e t s v e r i f y o u r e f f e c t i v e n e s s . N o t a b l y , u s i n g a s h a r e d s e t o f p a r a m e t e r s , M 3 N e t a c h i e v e s 7 5 . 1 % , 8 3 . 1 % , a n d 7 2 . 4 % m I o U s c o r e s , r e s p e c t i v e l y , o n t h e o f f i c i a l b e n c h m a r k s o f S e m a n t i c K I T T I , n u S c e n e s , a n d W a y m o O p e n . A b s t r a c t ( t r a n s l a t e d ) 一 个 统 一 且 具 有 强 大 稳 健 性 和 泛 化 能 力 的 L i D A R 分 割 模 型 对 于 安 全 自 动 驾 驶 感 知 是 可 取 的 。 
 本 文 提 出 M 3 N e t ， 一 个 独 一 无 二 的 框 架 ， 用 于 通 过 仅 使 用 一 组 参 数 实 现 多 任 务 、 多 数 据 集 和 多 模 态 L i D A R 分 割 。 
 为 了 更 好 地 利 用 数 据 量 和 多 样 性 ， 我 们 首 先 将 不 同 场 景 下 获 取 的 大 规 模 驾 驶 数 据 集 合 并 ， 然 后 进 行 数 据 、 特 征 和 标 签 空 间 的 归 一 化 训 练 。 
 结 果 ， M 3 N e t 能 够 驯 服 训 练 中 最 具 竞 争 力 的 L i D A R 分 割 模 型 的 异 质 数 据 。 
 在 十 二 个 L i D A R 分 割 数 据 集 上 的 广 泛 实 验 证 实 了 我 们 的 有 效 性 。 
 值 得 注 意 的 是 ， 使 用 共 享 参 数 ， M 3 N e t 在 S e m a n t i c K I T T I 、 n u S c e n e s 和 W a y m o O p e n 的 官 方 基 准 测 试 中 都 取 得 了 7 5 . 1 % 、 8 3 . 1 % 和 7 2 . 4 % 的 m I o U 分 数 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 5 3 8 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 5 3 8 . p d f R e a d A l l C u s t o m i z i n g T e x t t o I m a g e M o d e l s w i t h a S i n g l e I m a g e P a i r 2 0 2 4 0 5 0 2 1 7 : 5 9 : 5 2 M a x w e l l J o n e s , S h e n g Y u W a n g , N u p u r K u m a r i , D a v i d B a u , J u n Y a n Z h u • a r X i v _ C V • • a r X i v _ C V   I n f e r e n c e   O p t i m i z a t i o n   Q u a n t i t a t i v e   P o s e   D i f f u s i o n   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t A r t r e i n t e r p r e t a t i o n i s t h e p r a c t i c e o f c r e a t i n g a v a r i a t i o n o f a r e f e r e n c e w o r k , m a k i n g a p a i r e d a r t w o r k t h a t e x h i b i t s a d i s t i n c t a r t i s t i c s t y l e . W e a s k i f s u c h a n i m a g e p a i r c a n b e u s e d t o c u s t o m i z e a g e n e r a t i v e m o d e l t o c a p t u r e t h e d e m o n s t r a t e d s t y l i s t i c d i f f e r e n c e . W e p r o p o s e P a i r C u s t o m i z a t i o n , a n e w c u s t o m i z a t i o n m e t h o d t h a t l e a r n s s t y l i s t i c d i f f e r e n c e f r o m a s i n g l e i m a g e p a i r a n d t h e n a p p l i e s t h e a c q u i r e d s t y l e t o t h e g e n e r a t i o n p r o c e s s . U n l i k e e x i s t i n g m e t h o d s t h a t l e a r n t o m i m i c a s i n g l e c o n c e p t f r o m a c o l l e c t i o n o f i m a g e s , o u r m e t h o d c a p t u r e s t h e s t y l i s t i c d i f f e r e n c e b e t w e e n p a i r e d i m a g e s . T h i s a l l o w s u s t o a p p l y a s t y l i s t i c c h a n g e w i t h o u t o v e r f i t t i n g t o t h e s p e c i f i c i m a g e c o n t e n t i n t h e e x a m p l e s . T o a d d r e s s t h i s n e w t a s k , w e e m p l o y a j o i n t o p t i m i z a t i o n m e t h o d t h a t e x p l i c i t l y s e p a r a t e s t h e s t y l e a n d c o n t e n t i n t o d i s t i n c t L o R A w e i g h t s p a c e s . W e o p t i m i z e t h e s e s t y l e a n d c o n t e n t w e i g h t s t o r e p r o d u c e t h e s t y l e a n d c o n t e n t i m a g e s w h i l e e n c o u r a g i n g t h e i r o r t h o g o n a l i t y . D u r i n g i n f e r e n c e , w e m o d i f y t h e d i f f u s i o n p r o c e s s v i a a n e w s t y l e g u i d a n c e b a s e d o n o u r l e a r n e d w e i g h t s . B o t h q u a l i t a t i v e a n d q u a n t i t a t i v e e x p e r i m e n t s s h o w t h a t o u r m e t h o d c a n e f f e c t i v e l y l e a r n s t y l e w h i l e a v o i d i n g o v e r f i t t i n g t o i m a g e c o n t e n t , h i g h l i g h t i n g t h e p o t e n t i a l o f m o d e l i n g s u c h s t y l i s t i c d i f f e r e n c e s f r o m a s i n g l e i m a g e p a i r . A b s t r a c t ( t r a n s l a t e d ) 艺 术 再 诠 释 是 对 参 考 作 品 的 一 种 变 体 ， 创 作 了 一 对 对 比 艺 术 作 品 ， 展 示 了 独 特 的 艺 术 风 格 。 
 我 们 询 问 ， 这 样 的 图 像 对 是 否 可 以 用 于 定 制 生 成 模 型 来 捕 捉 演 示 的 文 体 差 异 。 
 我 们 提 出 了 P a i r C u s t o m i z a t i o n ， 一 种 新 的 定 制 方 法 ， 它 从 单 个 图 像 对 中 学 习 文 体 差 异 ， 然 后 将 获 得 的 风 格 应 用 于 生 成 过 程 。 
 与 现 有 的 方 法 不 同 ， 我 们 的 方 法 从 单 个 图 像 对 中 捕 获 文 体 差 异 。 
 这 使 我 们 能 够 在 不 需 要 对 实 例 的 具 体 内 容 进 行 过 拟 合 的 情 况 下 应 用 文 体 变 化 。 
 为 了 应 对 这 项 新 任 务 ， 我 们 采 用 了 一 种 联 合 优 化 方 法 ， 将 风 格 和 内 容 明 确 地 分 离 到 两 个 L O R A 权 重 空 间 中 。 
 我 们 优 化 了 这 些 风 格 和 内 容 权 重 ， 以 复 制 风 格 和 内 容 图 像 ， 同 时 鼓 励 它 们 的 正 交 性 。 
 在 推 理 过 程 中 ， 我 们 通 过 基 于 我 们 学 习 到 的 权 重 的 新 的 样 式 指 导 来 修 改 扩 散 过 程 。 
 所 有 定 性 和 定 量 实 验 都 表 明 ， 我 们 的 方 法 可 以 有 效 地 学 习 风 格 ， 同 时 避 免 对 图 像 内 容 的 过 拟 合 ， 突 出 了 从 单 个 图 像 对 中 建 模 这 些 文 体 差 异 的 潜 在 可 能 性 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 5 3 6 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 5 3 6 . p d f R e a d A l l P r o m e t h e u s 2 : A n O p e n S o u r c e L a n g u a g e M o d e l S p e c i a l i z e d i n E v a l u a t i n g O t h e r L a n g u a g e M o d e l s 2 0 2 4 0 5 0 2 1 7 : 5 9 : 3 5 S e u n g o n e K i m , J u y o u n g S u k , S h a y n e L o n g p r e , B i l l Y u c h e n L i n , J a m i n S h i n , S e a n W e l l e c k , G r a h a m N e u b i g , M o o n t a e L e e , K y u n g j a e L e e , M i n j o o n S e o • a r X i v _ C L • • a r X i v _ C L   R e l a t i o n   L a n g u a g e _ M o d e l   T r a n s f o r m e r   C h a t   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t P r o p r i e t a r y L M s s u c h a s G P T 4 a r e o f t e n e m p l o y e d t o a s s e s s t h e q u a l i t y o f r e s p o n s e s f r o m v a r i o u s L M s . H o w e v e r , c o n c e r n s i n c l u d i n g t r a n s p a r e n c y , c o n t r o l l a b i l i t y , a n d a f f o r d a b i l i t y s t r o n g l y m o t i v a t e t h e d e v e l o p m e n t o f o p e n s o u r c e L M s s p e c i a l i z e d i n e v a l u a t i o n s . O n t h e o t h e r h a n d , e x i s t i n g o p e n e v a l u a t o r L M s e x h i b i t c r i t i c a l s h o r t c o m i n g s : 1 ) t h e y i s s u e s c o r e s t h a t s i g n i f i c a n t l y d i v e r g e f r o m t h o s e a s s i g n e d b y h u m a n s , a n d 2 ) t h e y l a c k t h e f l e x i b i l i t y t o p e r f o r m b o t h d i r e c t a s s e s s m e n t a n d p a i r w i s e r a n k i n g , t h e t w o m o s t p r e v a l e n t f o r m s o f a s s e s s m e n t . A d d i t i o n a l l y , t h e y d o n o t p o s s e s s t h e a b i l i t y t o e v a l u a t e b a s e d o n c u s t o m e v a l u a t i o n c r i t e r i a , f o c u s i n g i n s t e a d o n g e n e r a l a t t r i b u t e s l i k e h e l p f u l n e s s a n d h a r m l e s s n e s s . T o a d d r e s s t h e s e i s s u e s , w e i n t r o d u c e P r o m e t h e u s 2 , a m o r e p o w e r f u l e v a l u a t o r L M t h a n i t s p r e d e c e s s o r t h a t c l o s e l y m i r r o r s h u m a n a n d G P T 4 j u d g e m e n t s . M o r e o v e r , i t i s c a p a b l e o f p r o c e s s i n g b o t h d i r e c t a s s e s s m e n t a n d p a i r w i s e r a n k i n g f o r m a t s g r o u p e d w i t h a u s e r d e f i n e d e v a l u a t i o n c r i t e r i a . O n f o u r d i r e c t a s s e s s m e n t b e n c h m a r k s a n d f o u r p a i r w i s e r a n k i n g b e n c h m a r k s , P r o m e t h e u s 2 s c o r e s t h e h i g h e s t c o r r e l a t i o n a n d a g r e e m e n t w i t h h u m a n s a n d p r o p r i e t a r y L M j u d g e s a m o n g a l l t e s t e d o p e n e v a l u a t o r L M s . O u r m o d e l s , c o d e , a n d d a t a a r e a l l p u b l i c l y a v a i l a b l e a t t h i s h t t p s U R L . A b s t r a c t ( t r a n s l a t e d ) p r o p r i e t a r y l a n g u a g e m o d e l s s u c h a s G P T 4 a r e o f t e n u s e d t o a s s e s s t h e q u a l i t y o f r e s p o n s e s f r o m v a r i o u s l a n g u a g e m o d e l s . H o w e v e r , c o n c e r n s s u c h a s t r a n s p a r e n c y , c o n t r o l l a b i l i t y , a n d a f f o r d a b i l i t y s t r o n g l y m o t i v a t e t h e d e v e l o p m e n t o f o p e n s o u r c e l a n g u a g e m o d e l s s p e c i a l i z e d i n e v a l u a t i o n s . O n t h e o t h e r h a n d , e x i s t i n g o p e n e v a l u a t o r l a n g u a g e m o d e l s h a v e c r i t i c a l s h o r t c o m i n g s : 1 ) t h e y i s s u e s c o r e s t h a t s i g n i f i c a n t l y d i v e r g e f r o m t h o s e a s s i g n e d b y h u m a n s , a n d 2 ) t h e y l a c k t h e f l e x i b i l i t y t o p e r f o r m b o t h d i r e c t a s s e s s m e n t a n d p a i r w i s e r a n k i n g , t h e t w o m o s t p r e v a l e n t f o r m s o f a s s e s s m e n t . A d d i t i o n a l l y , t h e y d o n o t p o s s e s s t h e a b i l i t y t o e v a l u a t e b a s e d o n c u s t o m e v a l u a t i o n c r i t e r i a , i n s t e a d f o c u s i n g o n g e n e r a l a t t r i b u t e s s u c h a s h e l p f u l n e s s a n d h a r m l e s s n e s s . T o a d d r e s s t h e s e i s s u e s , w e i n t r o d u c e P r o m e t h e u s 2 , a m o r e p o w e r f u l e v a l u a t o r l a n g u a g e m o d e l t h a n i t s p r e d e c e s s o r t h a t c l o s e l y m i r r o r s h u m a n a n d G P T 4 j u d g m e n t s . M o r e o v e r , i t i s c a p a b l e o f p r o c e s s i n g b o t h d i r e c t a s s e s s m e n t a n d p a i r w i s e r a n k i n g f o r m a t s g r o u p e d w i t h a u s e r d e f i n e d e v a l u a t i o n c r i t e r i a . O n f o u r d i r e c t a s s e s s m e n t b e n c h m a r k s a n d f o u r p a i r w i s e r a n k i n g b e n c h m a r k s , P r o m e t h e u s 2 s c o r e s t h e h i g h e s t c o r r e l a t i o n a n d a g r e e m e n t w i t h h u m a n s a n d p r o p r i e t a r y l a n g u a g e m o d e l j u d g e s a m o n g a l l t e s t e d o p e n e v a l u a t o r l a n g u a g e m o d e l s . O u r m o d e l s , c o d e , a n d d a t a a r e a l l p u b l i c l y a v a i l a b l e a t t h i s [ h t t p s : / / w w w . u r l ] ( h t t p : / / w w w . u r l ) . U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 5 3 5 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 5 3 5 . p d f R e a d A l l P l a n S e q L e a r n : L a n g u a g e M o d e l G u i d e d R L f o r S o l v i n g L o n g H o r i z o n R o b o t i c s T a s k s 2 0 2 4 0 5 0 2 1 7 : 5 9 : 3 1 M u r t a z a D a l a l , T a r u n C h i r u v o l u , D e v e n d r a C h a p l o t , R u s l a n S a l a k h u t d i n o v • a r X i v _ A I • • a r X i v _ A I   R e i n f o r c e m e n t _ L e a r n i n g   K n o w l e d g e   L a n g u a g e _ M o d e l   P o s e   A c t i o n   A g e n t   R o b o t   L L M   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t L a r g e L a n g u a g e M o d e l s ( L L M s ) h a v e b e e n s h o w n t o b e c a p a b l e o f p e r f o r m i n g h i g h l e v e l p l a n n i n g f o r l o n g h o r i z o n r o b o t i c s t a s k s , y e t e x i s t i n g m e t h o d s r e q u i r e a c c e s s t o a p r e d e f i n e d s k i l l l i b r a r y ( e . g . p i c k i n g , p l a c i n g , p u l l i n g , p u s h i n g , n a v i g a t i n g ) . H o w e v e r , L L M p l a n n i n g d o e s n o t a d d r e s s h o w t o d e s i g n o r l e a r n t h o s e b e h a v i o r s , w h i c h r e m a i n s c h a l l e n g i n g p a r t i c u l a r l y i n l o n g h o r i z o n s e t t i n g s . F u r t h e r m o r e , f o r m a n y t a s k s o f i n t e r e s t , t h e r o b o t n e e d s t o b e a b l e t o a d j u s t i t s b e h a v i o r i n a f i n e g r a i n e d m a n n e r , r e q u i r i n g t h e a g e n t t o b e c a p a b l e o f m o d i f y i n g l o w l e v e l c o n t r o l a c t i o n s . C a n w e i n s t e a d u s e t h e i n t e r n e t s c a l e k n o w l e d g e f r o m L L M s f o r h i g h l e v e l p o l i c i e s , g u i d i n g r e i n f o r c e m e n t l e a r n i n g ( R L ) p o l i c i e s t o e f f i c i e n t l y s o l v e r o b o t i c c o n t r o l t a s k s o n l i n e w i t h o u t r e q u i r i n g a p r e d e t e r m i n e d s e t o f s k i l l s ? I n t h i s p a p e r , w e p r o p o s e P l a n S e q L e a r n ( P S L ) : a m o d u l a r a p p r o a c h t h a t u s e s m o t i o n p l a n n i n g t o b r i d g e t h e g a p b e t w e e n a b s t r a c t l a n g u a g e a n d l e a r n e d l o w l e v e l c o n t r o l f o r s o l v i n g l o n g h o r i z o n r o b o t i c s t a s k s f r o m s c r a t c h . W e d e m o n s t r a t e t h a t P S L a c h i e v e s s t a t e o f t h e a r t r e s u l t s o n o v e r 2 5 c h a l l e n g i n g r o b o t i c s t a s k s w i t h u p t o 1 0 s t a g e s . P S L s o l v e s l o n g h o r i z o n t a s k s f r o m r a w v i s u a l i n p u t s p a n n i n g f o u r b e n c h m a r k s a t s u c c e s s r a t e s o f o v e r 8 5 % , o u t p e r f o r m i n g l a n g u a g e b a s e d , c l a s s i c a l , a n d e n d t o e n d a p p r o a c h e s . V i d e o r e s u l t s a n d c o d e a t t h i s h t t p s U R L A b s t r a c t ( t r a n s l a t e d ) 大 语 言 模 型 （ L L M s ） 已 经 被 证 明 在 长 时 间 的 机 器 人 任 务 中 具 有 执 行 高 级 计 划 的 能 力 。 
 然 而 ， 现 有 的 方 法 需 要 访 问 预 定 义 的 技 能 库 （ 例 如 抓 取 、 放 置 、 拖 动 、 推 开 、 导 航 ） 。 
 然 而 ， L L M 计 划 并 没 有 解 决 如 何 设 计 或 学 习 这 些 行 为 ， 这 使 得 在 长 时 间 设 置 中 解 决 这 个 问 题 变 得 更 加 具 有 挑 战 性 。 
 此 外 ， 对 于 许 多 感 兴 趣 的 任 务 ， 机 器 人 需 要 能 够 以 细 粒 度 的 方 式 调 整 其 行 为 ， 要 求 代 理 具 备 修 改 低 级 控 制 动 作 的 能 力 。 
 我 们 可 以 i n s t e a d 使 用 L L M 在 高 级 策 略 上 进 行 知 识 表 示 ， 指 导 强 化 学 习 （ R L ） 策 略 有 效 地 解 决 机 器 人 控 制 任 务 ， 而 无 需 预 先 确 定 一 组 技 能 ？ 在 本 文 中 ， 我 们 提 出 了 P l a n S e q L e a r n （ P S L ） ： 一 种 模 块 化 方 法 ， 使 用 运 动 规 划 来 桥 接 抽 象 语 言 和 学 习 的 低 级 控 制 ， 以 从 零 开 始 解 决 长 时 间 的 机 器 人 任 务 。 
 我 们 证 明 了 P S L 在 超 过 2 5 个 具 有 挑 战 性 的 机 器 人 任 务 上 取 得 了 最 先 进 的 成 果 ， 其 中 包 括 1 0 个 阶 段 。 
 P S L 通 过 从 成 功 的 视 觉 输 入 中 解 决 长 期 机 器 人 任 务 ， 其 成 功 率 超 过 8 5 % ， 超 过 了 基 于 语 言 的 传 统 方 法 、 基 于 任 务 的 端 到 端 方 法 和 基 于 知 识 的 方 法 。 
 视 频 结 果 和 代 码 在 此 处 ： h t t p s : / / u r l U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 5 3 4 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 5 3 4 . p d f R e a d A l l O m n i D r i v e : A H o l i s t i c L L M A g e n t F r a m e w o r k f o r A u t o n o m o u s D r i v i n g w i t h 3 D P e r c e p t i o n , R e a s o n i n g a n d P l a n n i n g 2 0 2 4 0 5 0 2 1 7 : 5 9 : 2 4 S h i h a o W a n g , Z h i d i n g Y u , X i a o h u i J i a n g , S h i y i L a n , M i n S h i , N a d i n e C h a n g , J a n K a u t z , Y i n g L i , J o s e M . A l v a r e z • a r X i v _ C V • • a r X i v _ C V   V Q A   Q A   S p a r s e   L a n g u a g e _ M o d e l   P o s e   A u t o n o m o u s   A c t i o n   3 D   A g e n t   L L M   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t T h e a d v a n c e s i n m u l t i m o d a l l a r g e l a n g u a g e m o d e l s ( M L L M s ) h a v e l e d t o g r o w i n g i n t e r e s t s i n L L M b a s e d a u t o n o m o u s d r i v i n g a g e n t s t o l e v e r a g e t h e i r s t r o n g r e a s o n i n g c a p a b i l i t i e s . H o w e v e r , c a p i t a l i z i n g o n M L L M s s t r o n g r e a s o n i n g c a p a b i l i t i e s f o r i m p r o v e d p l a n n i n g b e h a v i o r i s c h a l l e n g i n g s i n c e p l a n n i n g r e q u i r e s f u l l 3 D s i t u a t i o n a l a w a r e n e s s b e y o n d 2 D r e a s o n i n g . T o a d d r e s s t h i s c h a l l e n g e , o u r w o r k p r o p o s e s a h o l i s t i c f r a m e w o r k f o r s t r o n g a l i g n m e n t b e t w e e n a g e n t m o d e l s a n d 3 D d r i v i n g t a s k s . O u r f r a m e w o r k s t a r t s w i t h a n o v e l 3 D M L L M a r c h i t e c t u r e t h a t u s e s s p a r s e q u e r i e s t o l i f t a n d c o m p r e s s v i s u a l r e p r e s e n t a t i o n s i n t o 3 D b e f o r e f e e d i n g t h e m i n t o a n L L M . T h i s q u e r y b a s e d r e p r e s e n t a t i o n a l l o w s u s t o j o i n t l y e n c o d e d y n a m i c o b j e c t s a n d s t a t i c m a p e l e m e n t s ( e . g . , t r a f f i c l a n e s ) , p r o v i d i n g a c o n d e n s e d w o r l d m o d e l f o r p e r c e p t i o n a c t i o n a l i g n m e n t i n 3 D . W e f u r t h e r p r o p o s e O m n i D r i v e n u S c e n e s , a n e w v i s u a l q u e s t i o n a n s w e r i n g d a t a s e t c h a l l e n g i n g t h e t r u e 3 D s i t u a t i o n a l a w a r e n e s s o f a m o d e l w i t h c o m p r e h e n s i v e v i s u a l q u e s t i o n a n s w e r i n g ( V Q A ) t a s k s , i n c l u d i n g s c e n e d e s c r i p t i o n , t r a f f i c r e g u l a t i o n , 3 D g r o u n d i n g , c o u n t e r f a c t u a l r e a s o n i n g , d e c i s i o n m a k i n g a n d p l a n n i n g . E x t e n s i v e s t u d i e s s h o w t h e e f f e c t i v e n e s s o f t h e p r o p o s e d a r c h i t e c t u r e a s w e l l a s t h e i m p o r t a n c e o f t h e V Q A t a s k s f o r r e a s o n i n g a n d p l a n n i n g i n c o m p l e x 3 D s c e n e s . A b s t r a c t ( t r a n s l a t e d ) 多 模 态 大 型 语 言 模 型 （ M L L M s ） 的 进 步 导 致 了 对 基 于 L L M 的 自 动 驾 驶 代 理 的 浓 厚 兴 趣 ， 以 利 用 其 强 大 的 推 理 能 力 。 
 然 而 ， 利 用 M L L M s 的 强 大 的 推 理 能 力 进 行 改 进 的 规 划 行 为 具 有 挑 战 性 ， 因 为 规 划 需 要 超 过 2 D 推 理 的 全 面 3 D 情 景 意 识 。 
 为 解 决 这 个 问 题 ， 我 们 的 工 作 提 出 了 一 个 整 体 框 架 ， 实 现 代 理 模 型 与 3 D 驾 驶 任 务 的 强 一 致 性 。 
 我 们 的 框 架 从 采 用 稀 疏 查 询 的 全 新 3 D M L L M 架 构 开 始 ， 该 架 构 在 将 视 觉 表 示 压 缩 成 3 D 后 输 入 L L M 之 前 利 用 稀 疏 查 询 。 
 这 种 基 于 查 询 的 表 示 允 许 我 们 共 同 编 码 动 态 物 体 和 静 态 地 图 元 素 （ 例 如 ， 交 通 车 道 ） ， 为 3 D 感 知 动 作 对 齐 提 供 了 一 个 压 缩 的 世 界 模 型 。 
 我 们 还 提 出 了 O m n i D r i v e n u S c e n e s ， 一 个 新 的 视 觉 问 题 回 答 数 据 集 ， 挑 战 了 具 有 全 面 视 觉 问 题 回 答 （ V Q A ） 任 务 的 模 型 的 真 正 3 D 情 景 意 识 ， 包 括 场 景 描 述 、 交 通 规 则 、 3 D 建 模 、 反 事 实 推 理 、 决 策 和 规 划 。 
 大 量 研 究 证 明 了 所 建 议 的 架 构 的 有 效 性 以 及 V Q A 任 务 对 复 杂 3 D 场 景 中 的 推 理 和 规 划 的 重 要 性 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 5 3 3 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 5 3 3 . p d f R e a d A l l I m p r o v i n g I n t e r v e n t i o n E f f i c a c y v i a C o n c e p t R e a l i g n m e n t i n C o n c e p t B o t t l e n e c k M o d e l s 2 0 2 4 0 5 0 2 1 7 : 5 9 : 0 1 N i s h a d S i n g h i , J a e M y u n g K i m , K a r s t e n R o t h , Z e y n e p A k a t a • a r X i v _ A I • • a r X i v _ A I   C l a s s i f i c a t i o n   I m a g e _ C l a s s i f i c a t i o n   R e l a t i o n   P r e d i c t i o n   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t C o n c e p t B o t t l e n e c k M o d e l s ( C B M s ) g r o u n d i m a g e c l a s s i f i c a t i o n o n h u m a n u n d e r s t a n d a b l e c o n c e p t s t o a l l o w f o r i n t e r p r e t a b l e m o d e l d e c i s i o n s . C r u c i a l l y , t h e C B M d e s i g n i n h e r e n t l y a l l o w s f o r h u m a n i n t e r v e n t i o n s , i n w h i c h e x p e r t u s e r s a r e g i v e n t h e a b i l i t y t o m o d i f y p o t e n t i a l l y m i s a l i g n e d c o n c e p t c h o i c e s t o i n f l u e n c e t h e d e c i s i o n b e h a v i o r o f t h e m o d e l i n a n i n t e r p r e t a b l e f a s h i o n . H o w e v e r , e x i s t i n g a p p r o a c h e s o f t e n r e q u i r e n u m e r o u s h u m a n i n t e r v e n t i o n s p e r i m a g e t o a c h i e v e s t r o n g p e r f o r m a n c e s , p o s i n g p r a c t i c a l c h a l l e n g e s i n s c e n a r i o s w h e r e o b t a i n i n g h u m a n f e e d b a c k i s e x p e n s i v e . I n t h i s p a p e r , w e f i n d t h a t t h i s i s n o t i c e a b l y d r i v e n b y a n i n d e p e n d e n t t r e a t m e n t o f c o n c e p t s d u r i n g i n t e r v e n t i o n , w h e r e i n a c h a n g e o f o n e c o n c e p t d o e s n o t i n f l u e n c e t h e u s e o f o t h e r o n e s i n t h e m o d e l s f i n a l d e c i s i o n . T o a d d r e s s t h i s i s s u e , w e i n t r o d u c e a t r a i n a b l e c o n c e p t i n t e r v e n t i o n r e a l i g n m e n t m o d u l e , w h i c h l e v e r a g e s c o n c e p t r e l a t i o n s t o r e a l i g n c o n c e p t a s s i g n m e n t s p o s t i n t e r v e n t i o n . A c r o s s s t a n d a r d , r e a l w o r l d b e n c h m a r k s , w e f i n d t h a t c o n c e p t r e a l i g n m e n t c a n s i g n i f i c a n t l y i m p r o v e i n t e r v e n t i o n e f f i c a c y ; s i g n i f i c a n t l y r e d u c i n g t h e n u m b e r o f i n t e r v e n t i o n s n e e d e d t o r e a c h a t a r g e t c l a s s i f i c a t i o n p e r f o r m a n c e o r c o n c e p t p r e d i c t i o n a c c u r a c y . I n a d d i t i o n , i t e a s i l y i n t e g r a t e s i n t o e x i s t i n g c o n c e p t b a s e d a r c h i t e c t u r e s w i t h o u t r e q u i r i n g c h a n g e s t o t h e m o d e l s t h e m s e l v e s . T h i s r e d u c e d c o s t o f h u m a n m o d e l c o l l a b o r a t i o n i s c r u c i a l t o e n h a n c i n g t h e f e a s i b i l i t y o f C B M s i n r e s o u r c e c o n s t r a i n e d e n v i r o n m e n t s . A b s t r a c t ( t r a n s l a t e d ) 概 念 瓶 颈 模 型 （ C B M s ） 将 人 类 可 理 解 的 观 念 作 为 g r o u n d i m a g e 分 类 ， 以 实 现 模 型 决 策 的 可 解 释 性 。 
 关 键 是 ， C B M 设 计 本 身 允 许 专 家 用 户 进 行 干 预 ， 其 中 专 家 用 户 被 赋 予 了 修 改 可 能 存 在 错 配 的 概 念 选 择 以 影 响 模 型 决 策 行 为 的 解 释 性 方 式 。 
 然 而 ， 现 有 的 方 法 通 常 需 要 每 个 图 像 进 行 大 量 的 人 工 干 预 才 能 实 现 强 大 的 性 能 ， 这 在 一 个 获 得 人 类 反 馈 代 价 高 昂 的 场 景 中 提 出 了 实 际 挑 战 。 
 在 本 文 中 ， 我 们 发 现 这 明 显 是 由 干 预 过 程 中 的 独 立 处 理 概 念 导 致 的 ， 其 中 改 变 一 个 概 念 不 会 影 响 模 型 最 终 决 策 的 使 用 其 他 概 念 。 
 为 了 应 对 这 个 问 题 ， 我 们 引 入 了 一 个 可 训 练 的 概 念 干 预 对 齐 模 块 ， 它 利 用 概 念 关 系 在 干 预 后 对 概 念 分 配 进 行 对 齐 。 
 在 标 准 、 真 实 世 界 的 基 准 测 试 中 ， 我 们 发 现 概 念 对 齐 可 以 显 著 提 高 干 预 效 果 ； 大 大 减 少 了 达 到 目 标 分 类 性 能 或 概 念 预 测 精 度 所 需 的 干 预 数 量 。 
 此 外 ， 它 很 容 易 与 现 有 的 基 于 概 念 的 架 构 集 成 ， 而 无 需 对 模 型 本 身 进 行 更 改 。 
 这 种 降 低 人 机 协 同 成 本 对 增 强 在 资 源 受 限 环 境 中 的 C B M 的 可 行 性 至 关 重 要 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 5 3 1 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 5 3 1 . p d f R e a d A l l T r a c k 2 A c t : P r e d i c t i n g P o i n t T r a c k s f r o m I n t e r n e t V i d e o s e n a b l e s D i v e r s e Z e r o s h o t R o b o t M a n i p u l a t i o n 2 0 2 4 0 5 0 2 1 7 : 5 6 : 5 5 H o m a n g a B h a r a d h w a j , R o o z b e h M o t t a g h i , A b h i n a v G u p t a , S h u b h a m T u l s i a n i • a r X i v _ C V • • a r X i v _ C V   P r e d i c t i o n   P o s e   A c t i o n   Z e r o S h o t   R o b o t   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t W e s e e k t o l e a r n a g e n e r a l i z a b l e g o a l c o n d i t i o n e d p o l i c y t h a t e n a b l e s z e r o s h o t r o b o t m a n i p u l a t i o n : i n t e r a c t i n g w i t h u n s e e n o b j e c t s i n n o v e l s c e n e s w i t h o u t t e s t t i m e a d a p t a t i o n . W h i l e t y p i c a l a p p r o a c h e s r e l y o n a l a r g e a m o u n t o f d e m o n s t r a t i o n d a t a f o r s u c h g e n e r a l i z a t i o n , w e p r o p o s e a n a p p r o a c h t h a t l e v e r a g e s w e b v i d e o s t o p r e d i c t p l a u s i b l e i n t e r a c t i o n p l a n s a n d l e a r n s a t a s k a g n o s t i c t r a n s f o r m a t i o n t o o b t a i n r o b o t a c t i o n s i n t h e r e a l w o r l d . O u r f r a m e w o r k , T r a c k 2 A c t p r e d i c t s t r a c k s o f h o w p o i n t s i n a n i m a g e s h o u l d m o v e i n f u t u r e t i m e s t e p s b a s e d o n a g o a l , a n d c a n b e t r a i n e d w i t h d i v e r s e v i d e o s o n t h e w e b i n c l u d i n g t h o s e o f h u m a n s a n d r o b o t s m a n i p u l a t i n g e v e r y d a y o b j e c t s . W e u s e t h e s e 2 D t r a c k p r e d i c t i o n s t o i n f e r a s e q u e n c e o f r i g i d t r a n s f o r m s o f t h e o b j e c t t o b e m a n i p u l a t e d , a n d o b t a i n r o b o t e n d e f f e c t o r p o s e s t h a t c a n b e e x e c u t e d i n a n o p e n l o o p m a n n e r . W e t h e n r e f i n e t h i s o p e n l o o p p l a n b y p r e d i c t i n g r e s i d u a l a c t i o n s t h r o u g h a c l o s e d l o o p p o l i c y t r a i n e d w i t h a f e w e m b o d i m e n t s p e c i f i c d e m o n s t r a t i o n s . W e s h o w t h a t t h i s a p p r o a c h o f c o m b i n i n g s c a l a b l y l e a r n e d t r a c k p r e d i c t i o n w i t h a r e s i d u a l p o l i c y r e q u i r i n g m i n i m a l i n d o m a i n r o b o t s p e c i f i c d a t a e n a b l e s z e r o s h o t r o b o t m a n i p u l a t i o n , a n d p r e s e n t a w i d e a r r a y o f r e a l w o r l d r o b o t m a n i p u l a t i o n r e s u l t s a c r o s s u n s e e n t a s k s , o b j e c t s , a n d s c e n e s . t h i s h t t p s U R L A b s t r a c t ( t r a n s l a t e d ) 我 们 寻 求 学 习 一 个 通 用 的 目 标 条 件 策 略 ， 实 现 零 s h o t 机 器 人 操 作 ： 在 未 见 过 的 场 景 中 与 新 的 对 象 进 行 交 互 ， 无 需 测 试 时 间 适 应 。 
 虽 然 典 型 的 方 法 依 赖 于 大 量 演 示 数 据 进 行 这 种 泛 化 ， 我 们 提 出 了 一 种 利 用 网 络 视 频 预 测 合 理 交 互 计 划 的 方 法 ， 并 学 会 了 在 现 实 世 界 中 获 得 机 器 人 动 作 的 任 务 无 关 转 换 。 
 我 们 的 框 架 T r a c k 2 A c t 预 测 图 像 中 点 在 未 来 的 时 间 步 应 该 如 何 移 动 ， 可 以 训 练 包 括 人 类 和 机 器 人 操 作 日 常 物 品 的 多 样 性 视 频 。 
 我 们 使 用 这 些 2 D 轨 迹 预 测 来 推 断 要 操 作 的 物 体 的 序 列 刚 变 换 ， 并 获 得 可 以 在 开 环 方 式 下 执 行 的 机 器 人 末 端 执 行 器 姿 态 。 
 然 后 通 过 通 过 训 练 了 几 次 特 定 于 身 体 特 定 示 范 的 闭 环 策 略 来 预 测 残 余 动 作 ， 从 而 优 化 这 个 开 环 计 划 。 
 我 们 证 明 了 这 种 结 合 可 扩 展 学 习 轨 迹 预 测 与 需 要 最 小 域 内 机 器 人 特 定 数 据 的 有 残 策 略 的 方 法 实 现 零 s h o t 机 器 人 操 作 ， 并 在 未 见 过 的 任 务 、 物 体 和 场 景 中 展 示 了 广 泛 的 实 时 机 器 人 操 作 结 果 。 
 这 个 链 接 ： U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 5 2 7 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 5 2 7 . p d f R e a d A l l F L A M E : F a c t u a l i t y A w a r e A l i g n m e n t f o r L a r g e L a n g u a g e M o d e l s 2 0 2 4 0 5 0 2 1 7 : 5 4 : 5 4 S h e n g C h i e h L i n , L u y u G a o , B a r l a s O g u z , W e n h a n X i o n g , J i m m y L i n , W e n t a u Y i h , X i l u n C h e n • a r X i v _ A I • • a r X i v _ A I   R e i n f o r c e m e n t _ L e a r n i n g   K n o w l e d g e   O p t i m i z a t i o n   L a n g u a g e _ M o d e l   P o s e   L L M   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t A l i g n m e n t i s a s t a n d a r d p r o c e d u r e t o f i n e t u n e p r e t r a i n e d l a r g e l a n g u a g e m o d e l s ( L L M s ) t o f o l l o w n a t u r a l l a n g u a g e i n s t r u c t i o n s a n d s e r v e a s h e l p f u l A I a s s i s t a n t s . W e h a v e o b s e r v e d , h o w e v e r , t h a t t h e c o n v e n t i o n a l a l i g n m e n t p r o c e s s f a i l s t o e n h a n c e t h e f a c t u a l a c c u r a c y o f L L M s , a n d o f t e n l e a d s t o t h e g e n e r a t i o n o f m o r e f a l s e f a c t s ( i . e . h a l l u c i n a t i o n ) . I n t h i s p a p e r , w e s t u d y h o w t o m a k e t h e L L M a l i g n m e n t p r o c e s s m o r e f a c t u a l , b y f i r s t i d e n t i f y i n g f a c t o r s t h a t l e a d t o h a l l u c i n a t i o n i n b o t h a l i g n m e n t s t e p s : \ \ s u p e r v i s e d f i n e t u n i n g ( S F T ) a n d r e i n f o r c e m e n t l e a r n i n g ( R L ) . I n p a r t i c u l a r , w e f i n d t h a t t r a i n i n g t h e L L M o n n e w k n o w l e d g e o r u n f a m i l i a r t e x t s c a n e n c o u r a g e h a l l u c i n a t i o n . T h i s m a k e s S F T l e s s f a c t u a l a s i t t r a i n s o n h u m a n l a b e l e d d a t a t h a t m a y b e n o v e l t o t h e L L M . F u r t h e r m o r e , r e w a r d f u n c t i o n s u s e d i n s t a n d a r d R L c a n a l s o e n c o u r a g e h a l l u c i n a t i o n , b e c a u s e i t g u i d e s t h e L L M t o p r o v i d e m o r e h e l p f u l r e s p o n s e s o n a d i v e r s e s e t o f i n s t r u c t i o n s , o f t e n p r e f e r r i n g l o n g e r a n d m o r e d e t a i l e d r e s p o n s e s . B a s e d o n t h e s e o b s e r v a t i o n s , w e p r o p o s e f a c t u a l i t y a w a r e a l i g n m e n t , c o m p r i s e d o f f a c t u a l i t y a w a r e S F T a n d f a c t u a l i t y a w a r e R L t h r o u g h d i r e c t p r e f e r e n c e o p t i m i z a t i o n . E x p e r i m e n t s s h o w t h a t o u r p r o p o s e d f a c t u a l i t y a w a r e a l i g n m e n t g u i d e s L L M s t o o u t p u t m o r e f a c t u a l r e s p o n s e s w h i l e m a i n t a i n i n g i n s t r u c t i o n f o l l o w i n g c a p a b i l i t y . A b s t r a c t ( t r a n s l a t e d ) 对 齐 是 一 种 对 预 训 练 的 大 型 语 言 模 型 （ L L M s ） 进 行 微 调 的 标 准 程 序 ， 以 遵 循 自 然 语 言 指 令 并 作 为 有 帮 助 的 A I 助 手 。 
 然 而 ， 我 们 观 察 到 ， 传 统 的 对 齐 过 程 无 法 增 强 L L M s 的 事 实 准 确 性 ， 并 通 常 导 致 生 成 更 多 的 虚 假 事 实 （ 即 幻 觉 ） 。 
 在 本 文 中 ， 我 们 研 究 了 如 何 使 L L M 的 对 齐 过 程 更 加 事 实 准 确 ， 通 过 首 先 确 定 导 致 对 齐 步 骤 中 出 现 幻 觉 的 因 素 ： 有 监 督 的 微 调 （ S F T ） 和 强 化 学 习 （ R L ） 。 
 特 别 是 ， 我 们 发 现 ， 在 为 L L M 提 供 新 知 识 或 熟 悉 文 本 进 行 训 练 时 ， 可 能 会 鼓 励 幻 觉 。 
 这 使 得 S F T 变 得 不 准 确 ， 因 为 它 在 训 练 时 使 用 的 人 类 标 注 数 据 可 能 对 L L M 来 说 是 新 颖 的 。 
 此 外 ， 标 准 R L 中 使 用 的 奖 励 函 数 也 可 能 鼓 励 幻 觉 ， 因 为 它 引 导 L L M 为 多 样 性 的 指 令 提 供 更 有 帮 助 的 回 答 ， 往 往 更 喜 欢 更 长 的 、 更 详 细 的 回 答 。 
 基 于 这 些 观 察 结 果 ， 我 们 提 出 了 具 有 事 实 意 识 的 对 齐 方 法 ， 通 过 直 接 偏 好 优 化 实 现 事 实 意 识 S F T 和 事 实 意 识 R L 。 
 实 验 证 明 ， 我 们 提 出 的 事 实 意 识 对 齐 引 导 L L M s 输 出 更 准 确 的 事 实 性 响 应 ， 同 时 保 持 指 令 跟 踪 能 力 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 5 2 5 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 5 2 5 . p d f R e a d A l l A s e p a r a b i l i t y b a s e d a p p r o a c h t o q u a n t i f y i n g g e n e r a l i z a t i o n : w h i c h l a y e r i s b e s t ? 2 0 2 4 0 5 0 2 1 7 : 5 4 : 3 5 L u c i a n o D y b a l l a , E v a n G e r r i t z , S t e v e n W . Z u c k e r • a r X i v _ A I • • a r X i v _ A I   D e e p _ L e a r n i n g   C l a s s i f i c a t i o n   E m b e d d i n g   U n s u p e r v i s e d   F e w S h o t   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t G e n e r a l i z a t i o n t o u n s e e n d a t a r e m a i n s p o o r l y u n d e r s t o o d f o r d e e p l e a r n i n g c l a s s i f i c a t i o n a n d f o u n d a t i o n m o d e l s . H o w c a n o n e a s s e s s t h e a b i l i t y o f n e t w o r k s t o a d a p t t o n e w o r e x t e n d e d v e r s i o n s o f t h e i r i n p u t s p a c e i n t h e s p i r i t o f f e w s h o t l e a r n i n g , o u t o f d i s t r i b u t i o n g e n e r a l i z a t i o n , a n d d o m a i n a d a p t a t i o n ? W h i c h l a y e r s o f a n e t w o r k a r e l i k e l y t o g e n e r a l i z e b e s t ? W e p r o v i d e a n e w m e t h o d f o r e v a l u a t i n g t h e c a p a c i t y o f n e t w o r k s t o r e p r e s e n t a s a m p l e d d o m a i n , r e g a r d l e s s o f w h e t h e r t h e n e t w o r k h a s b e e n t r a i n e d o n a l l c l a s s e s i n t h e d o m a i n . O u r a p p r o a c h i s t h e f o l l o w i n g : a f t e r f i n e t u n i n g s t a t e o f t h e a r t p r e t r a i n e d m o d e l s f o r v i s u a l c l a s s i f i c a t i o n o n a p a r t i c u l a r d o m a i n , w e a s s e s s t h e i r p e r f o r m a n c e o n d a t a f r o m r e l a t e d b u t d i s t i n c t v a r i a t i o n s i n t h a t d o m a i n . G e n e r a l i z a t i o n p o w e r i s q u a n t i f i e d a s a f u n c t i o n o f t h e l a t e n t e m b e d d i n g s o f u n s e e n d a t a f r o m i n t e r m e d i a t e l a y e r s f o r b o t h u n s u p e r v i s e d a n d s u p e r v i s e d s e t t i n g s . W o r k i n g t h r o u g h o u t a l l s t a g e s o f t h e n e t w o r k , w e f i n d t h a t ( i ) h i g h c l a s s i f i c a t i o n a c c u r a c y d o e s n o t i m p l y h i g h g e n e r a l i z a b i l i t y ; a n d ( i i ) d e e p e r l a y e r s i n a m o d e l d o n o t a l w a y s g e n e r a l i z e t h e b e s t , w h i c h h a s i m p l i c a t i o n s f o r p r u n i n g . S i n c e t h e t r e n d s o b s e r v e d a c r o s s d a t a s e t s a r e l a r g e l y c o n s i s t e n t , w e c o n c l u d e t h a t o u r a p p r o a c h r e v e a l s ( a f u n c t i o n o f ) t h e i n t r i n s i c c a p a c i t y o f t h e d i f f e r e n t l a y e r s o f a m o d e l t o g e n e r a l i z e . A b s t r a c t ( t r a n s l a t e d ) 推 广 到 未 见 过 的 数 据 在 深 度 学 习 和 基 础 模 型 中 仍 然 存 在 很 大 的 不 确 定 性 。 
 如 何 评 估 网 络 在 面 对 新 或 扩 展 的 输 入 空 间 时 的 适 应 能 力 ， 以 及 少 样 本 学 习 、 离 散 泛 化 和 领 域 适 应 ？ 网 络 的 哪 些 层 可 能 最 具 泛 化 能 力 ？ 我 们 提 出 了 一 种 评 估 网 络 对 给 定 域 的 表 示 能 力 的 方 法 ， 无 论 网 络 是 否 在 域 上 进 行 过 所 有 的 类 别 的 预 训 练 。 
 我 们 的 方 法 如 下 ： 在 特 定 域 上 对 先 进 的 预 训 练 模 型 进 行 微 调 后 ， 我 们 评 估 它 们 在 相 关 但 不 同 的 域 上 的 数 据 上 的 表 现 。 
 泛 化 能 力 被 量 化 为 中 间 层 未 见 过 的 数 据 的 潜 在 表 示 的 功 能 ， 无 论 是 无 监 督 还 是 监 督 设 置 。 
 在 整 个 网 络 的 工 作 过 程 中 ， 我 们 发 现 ： （ i ） 高 分 类 准 确 率 并 不 一 定 意 味 着 高 泛 化 能 力 ； （ i i ） 模 型 中 的 更 深 层 并 不 总 是 泛 化 最 好 ， 这 会 对 剪 裁 产 生 影 响 。 
 由 于 数 据 集 的 趋 势 在 很 大 程 度 上 是 一 致 的 ， 我 们 得 出 结 论 ， 我 们 的 方 法 揭 示 了 模 型 不 同 层 之 间 泛 化 的 内 在 能 力 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 5 2 4 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 5 2 4 . p d f R e a d A l l T r a n s f o r m e r A i d e d S e m a n t i c C o m m u n i c a t i o n s 2 0 2 4 0 5 0 2 1 7 : 5 0 : 5 3 M a t i n M o r t a h e b , E r c i y e s K a r a k a y a , M o h a m m a d A . A m i r K h o j a s t e p o u r , S e n n u r U l u k u s • a r X i v _ C V • • a r X i v _ C V   A t t e n t i o n   L a n g u a g e _ M o d e l   T r a n s f o r m e r   P o s e   A c t i o n   R e c o n s t r u c t i o n   L L M   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t T h e t r a n s f o r m e r s t r u c t u r e e m p l o y e d i n l a r g e l a n g u a g e m o d e l s ( L L M s ) , a s a s p e c i a l i z e d c a t e g o r y o f d e e p n e u r a l n e t w o r k s ( D N N s ) f e a t u r i n g a t t e n t i o n m e c h a n i s m s , s t a n d s o u t f o r t h e i r a b i l i t y t o i d e n t i f y a n d h i g h l i g h t t h e m o s t r e l e v a n t a s p e c t s o f i n p u t d a t a . S u c h a c a p a b i l i t y i s p a r t i c u l a r l y b e n e f i c i a l i n a d d r e s s i n g a v a r i e t y o f c o m m u n i c a t i o n c h a l l e n g e s , n o t a b l y i n t h e r e a l m o f s e m a n t i c c o m m u n i c a t i o n w h e r e p r o p e r e n c o d i n g o f t h e r e l e v a n t d a t a i s c r i t i c a l e s p e c i a l l y i n s y s t e m s w i t h l i m i t e d b a n d w i d t h . I n t h i s w o r k , w e e m p l o y v i s i o n t r a n s f o r m e r s s p e c i f i c a l l y f o r t h e p u r p o s e o f c o m p r e s s i o n a n d c o m p a c t r e p r e s e n t a t i o n o f t h e i n p u t i m a g e , w i t h t h e g o a l o f p r e s e r v i n g s e m a n t i c i n f o r m a t i o n t h r o u g h o u t t h e t r a n s m i s s i o n p r o c e s s . T h r o u g h t h e u s e o f t h e a t t e n t i o n m e c h a n i s m i n h e r e n t i n t r a n s f o r m e r s , w e c r e a t e a n a t t e n t i o n m a s k . T h i s m a s k e f f e c t i v e l y p r i o r i t i z e s c r i t i c a l s e g m e n t s o f i m a g e s f o r t r a n s m i s s i o n , e n s u r i n g t h a t t h e r e c o n s t r u c t i o n p h a s e f o c u s e s o n k e y o b j e c t s h i g h l i g h t e d b y t h e m a s k . O u r m e t h o d o l o g y s i g n i f i c a n t l y i m p r o v e s t h e q u a l i t y o f s e m a n t i c c o m m u n i c a t i o n a n d o p t i m i z e s b a n d w i d t h u s a g e b y e n c o d i n g d i f f e r e n t p a r t s o f t h e d a t a i n a c c o r d a n c e w i t h t h e i r s e m a n t i c i n f o r m a t i o n c o n t e n t , t h u s e n h a n c i n g o v e r a l l e f f i c i e n c y . W e e v a l u a t e t h e e f f e c t i v e n e s s o f o u r p r o p o s e d f r a m e w o r k u s i n g t h e T i n y I m a g e N e t d a t a s e t , f o c u s i n g o n b o t h r e c o n s t r u c t i o n q u a l i t y a n d a c c u r a c y . O u r e v a l u a t i o n r e s u l t s d e m o n s t r a t e t h a t o u r f r a m e w o r k s u c c e s s f u l l y p r e s e r v e s s e m a n t i c i n f o r m a t i o n , e v e n w h e n o n l y a f r a c t i o n o f t h e e n c o d e d d a t a i s t r a n s m i t t e d , a c c o r d i n g t o t h e i n t e n d e d c o m p r e s s i o n r a t e s . A b s t r a c t ( t r a n s l a t e d ) 大 型 语 言 模 型 （ L L M s ） 采 用 的 变 换 器 结 构 作 为 一 种 特 殊 的 深 度 神 经 网 络 （ D N N s ） ， 具 有 关 注 机 制 ， 在 识 别 和 突 出 输 入 数 据 中 最 相 关 方 面 具 有 优 势 。 
 这 种 能 力 在 解 决 各 种 通 信 挑 战 方 面 尤 其 有 益 ， 尤 其 是 在 语 义 通 信 领 域 ， 正 确 编 码 相 关 数 据 至 关 重 要 ， 尤 其 是 在 带 宽 受 限 的 系 统 中 。 
 在 这 项 工 作 中 ， 我 们 专 门 使 用 视 觉 变 换 器 来 压 缩 和 简 洁 地 表 示 输 入 图 像 ， 以 保 留 在 整 个 传 输 过 程 中 的 语 义 信 息 。 
 通 过 使 用 变 换 器 固 有 的 注 意 机 制 ， 我 们 创 建 了 一 个 注 意 力 掩 码 。 
 这 个 掩 码 有 效 地 p r i o r i t i z e 了 图 像 中 关 键 部 分 的 传 输 ， 确 保 重 建 阶 段 关 注 由 掩 码 突 出 显 示 的 关 键 对 象 。 
 我 们 的 方 法 显 著 提 高 了 语 义 通 信 的 质 量 ， 通 过 根 据 数 据 语 义 信 息 内 容 编 码 数 据 的 不 同 部 分 来 优 化 带 宽 利 用 率 ， 从 而 提 高 整 体 效 率 。 
 我 们 使 用 T i n y I m a g e N e t 数 据 集 来 评 估 我 们 提 出 的 框 架 的 有 效 性 ， 重 点 关 注 重 建 质 量 和 准 确 性 。 
 我 们 的 评 估 结 果 表 明 ， 根 据 预 定 压 缩 率 ， 我 们 的 框 架 成 功 地 保 留 了 语 义 信 息 ， 即 使 只 有 部 分 编 码 数 据 被 传 输 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 5 2 1 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 5 2 1 . p d f R e a d A l l D 2 P O : D i s c r i m i n a t o r G u i d e d D P O w i t h R e s p o n s e E v a l u a t i o n M o d e l s 2 0 2 4 0 5 0 2 1 7 : 4 4 : 4 1 P r a s a n n S i n g h a l , N a t h a n L a m b e r t , S c o t t N i e k u m , T a n y a G o y a l , G r e g D u r r e t t • a r X i v _ C L • • a r X i v _ C L   O p t i m i z a t i o n   L a n g u a g e _ M o d e l   P o s e   C h a t   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t V a r i e d a p p r o a c h e s f o r a l i g n i n g l a n g u a g e m o d e l s h a v e b e e n p r o p o s e d , i n c l u d i n g s u p e r v i s e d f i n e t u n i n g , R L H F , a n d d i r e c t o p t i m i z a t i o n m e t h o d s s u c h a s D P O . A l t h o u g h D P O h a s r a p i d l y g a i n e d p o p u l a r i t y d u e t o i t s s t r a i g h t f o r w a r d t r a i n i n g p r o c e s s a n d c o m p e t i t i v e r e s u l t s , t h e r e i s a n o p e n q u e s t i o n o f w h e t h e r t h e r e r e m a i n p r a c t i c a l a d v a n t a g e s o f u s i n g a d i s c r i m i n a t o r , l i k e a r e w a r d m o d e l , t o e v a l u a t e r e s p o n s e s . W e p r o p o s e D 2 P O , d i s c r i m i n a t o r g u i d e d D P O , a n a p p r o a c h f o r t h e o n l i n e s e t t i n g w h e r e p r e f e r e n c e s a r e b e i n g c o l l e c t e d t h r o u g h o u t l e a r n i n g . A s w e c o l l e c t g o l d p r e f e r e n c e s , w e u s e t h e s e n o t o n l y t o t r a i n o u r p o l i c y , b u t t o t r a i n a d i s c r i m i n a t i v e r e s p o n s e e v a l u a t i o n m o d e l t o s i l v e r l a b e l e v e n m o r e s y n t h e t i c d a t a f o r p o l i c y t r a i n i n g . W e e x p l o r e t h i s a p p r o a c h a c r o s s a s e t o f d i v e r s e t a s k s , i n c l u d i n g a r e a l i s t i c c h a t s e t t i n g , w e f i n d t h a t o u r a p p r o a c h l e a d s t o h i g h e r q u a l i t y o u t p u t s c o m p a r e d t o D P O w i t h t h e s a m e d a t a b u d g e t , a n d g r e a t e r e f f i c i e n c y i n t e r m s o f p r e f e r e n c e d a t a r e q u i r e m e n t s . F u r t h e r m o r e , w e s h o w c o n d i t i o n s u n d e r w h i c h s i l v e r l a b e l i n g i s m o s t h e l p f u l : i t i s m o s t e f f e c t i v e w h e n t r a i n i n g t h e p o l i c y w i t h D P O , o u t p e r f o r m i n g t r a d i t i o n a l P P O , a n d b e n e f i t s f r o m m a i n t a i n i n g a s e p a r a t e d i s c r i m i n a t o r f r o m t h e p o l i c y m o d e l . A b s t r a c t ( t r a n s l a t e d ) 提 出 了 多 种 与 对 齐 语 言 模 型 的 方 法 ， 包 括 监 督 微 调 、 R L H F 和 直 接 优 化 方 法 （ 如 D P O ） 。 
 尽 管 D P O 因 其 直 观 的 训 练 过 程 和 具 有 竞 争 力 的 结 果 而 迅 速 受 到 欢 迎 ， 但 使 用 分 类 器 （ 如 奖 励 模 型 ） 来 评 估 响 应 仍 然 是 一 个 有 争 议 的 问 题 。 
 我 们 提 出 了 D 2 P O 、 分 类 器 指 导 的 D P O 和 在 线 设 置 中 偏 好 被 收 集 的 方 法 。 
 随 着 我 们 收 集 金 偏 好 ， 我 们 不 仅 用 它 们 来 训 练 我 们 的 策 略 ， 而 且 用 它 们 来 训 练 一 个 分 类 响 应 评 估 模 型 ， 以 对 抗 训 练 更 多 的 合 成 数 据 。 
 我 们 在 一 系 列 多 样 任 务 上 探 讨 了 这 种 方 法 ， 包 括 一 个 真 实 的 聊 天 设 置 ， 我 们 发 现 ， 与 使 用 相 同 数 据 预 算 相 比 ， 我 们 的 方 法 产 生 了 更 高 的 产 品 质 量 ， 并 且 在 偏 好 数 据 要 求 方 面 更 加 高 效 。 
 此 外 ， 我 们 证 明 了 银 标 记 在 什 么 情 况 下 最 有 帮 助 ： 当 使 用 D P O 训 练 策 略 时 ， 它 最 有 效 ； 超 过 传 统 的 P P O ， 并 从 策 略 模 型 中 分 离 出 独 立 的 分 类 器 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 5 1 1 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 5 1 1 . p d f R e a d A l l E v a l u a t i o n a n d O p t i m i z a t i o n o f A d a p t i v e C r u i s e C o n t r o l i n A u t o n o m o u s V e h i c l e s u s i n g t h e C A R L A S i m u l a t o r : A S t u d y o n P e r f o r m a n c e u n d e r W e t a n d D r y W e a t h e r C o n d i t i o n s 2 0 2 4 0 5 0 2 1 7 : 3 4 : 2 3 R o z a A l H i n d a w , T a q w a I . A l h a d i d i , M o h a m m a d A d a s • a r X i v _ R O • • a r X i v _ R O   O p t i m i z a t i o n   P o s e   A u t o n o m o u s   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t A d a p t i v e C r u i s e C o n t r o l A C C c a n c h a n g e t h e s p e e d o f t h e e g o v e h i c l e t o m a i n t a i n a s a f e d i s t a n c e f r o m t h e f o l l o w i n g v e h i c l e a u t o m a t i c a l l y . T h e p r i m a r y p u r p o s e o f t h i s r e s e a r c h i s t o u s e c u t t i n g e d g e c o m p u t i n g a p p r o a c h e s t o l o c a t e a n d t r a c k v e h i c l e s i n r e a l t i m e u n d e r v a r i o u s c o n d i t i o n s t o a c h i e v e a s a f e A C C . T h e p a p e r e x a m i n e s t h e e x t e n s i o n o f A C C e m p l o y i n g d e p t h c a m e r a s a n d r a d a r s e n s o r s w i t h i n A u t o n o m o u s V e h i c l e s A V s t o r e s p o n d i n r e a l t i m e b y c h a n g i n g w e a t h e r c o n d i t i o n s u s i n g t h e C a r L e a r n i n g t o A c t C A R L A s i m u l a t i o n p l a t f o r m a t n o o n . T h e e g o v e h i c l e c o n t r o l l e r s d e c i s i o n t o a c c e l e r a t e o r d e c e l e r a t e d e p e n d s o n t h e s p e e d o f t h e l e a d i n g a h e a d v e h i c l e a n d t h e s a f e d i s t a n c e f r o m t h a t v e h i c l e . S i m u l a t i o n r e s u l t s s h o w t h a t a P r o p o r t i o n a l I n t e g r a l D e r i v a t i v e P I D c o n t r o l o f a u t o n o m o u s v e h i c l e s u s i n g a d e p t h c a m e r a a n d r a d a r s e n s o r s r e d u c e s t h e s p e e d o f t h e l e a d i n g v e h i c l e a n d t h e e g o v e h i c l e w h e n i t r a i n s . I n a d d i t i o n , l o n g e r t r a v e l t i m e w a s o b s e r v e d f o r b o t h v e h i c l e s i n r a i n y c o n d i t i o n s t h a n i n d r y c o n d i t i o n s . A l s o , P I D c o n t r o l p r e v e n t s t h e l e a d i n g v e h i c l e f r o m r e a r c o l l i s i o n s A b s t r a c t ( t r a n s l a t e d ) 自 适 应 巡 航 控 制 （ A C C ） 可 以 根 据 预 设 的 速 度 自 动 改 变 车 辆 的 自 适 应 速 度 ， 以 保 持 与 后 车 安 全 距 离 。 
 本 研 究 的 主 要 目 的 是 利 用 尖 端 计 算 方 法 在 各 种 情 况 下 实 时 定 位 和 跟 踪 车 辆 ， 以 实 现 安 全 A C C 。 
 论 文 检 查 了 在 自 动 驾 驶 车 辆 （ A V ） 中 使 用 深 度 相 机 和 雷 达 传 感 器 扩 展 A C C ， 通 过 使 用 C a r L e a r n i n g t o A c t C A R L A 仿 真 平 台 在 中 午 实 时 响 应 天 气 条 件 。 
 自 车 控 制 器 决 定 加 速 或 减 速 取 决 于 前 车 的 速 度 和 与 该 车 辆 的 安 全 距 离 。 
 仿 真 结 果 表 明 ， 使 用 深 度 相 机 和 雷 达 传 感 器 的 自 动 驾 驶 车 辆 在 下 雨 时 ， 自 车 和 前 车 的 速 度 都 会 降 低 。 
 此 外 ， 在 雨 天 观 察 到 的 车 辆 行 驶 时 间 比 干 燥 条 件 下 更 长 。 
 此 外 ， P I D 控 制 还 可 以 防 止 前 车 发 生 碰 撞 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 5 0 4 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 5 0 4 . p d f R e a d A l l P A M U N e t : S h i f t i n g A t t e n t i o n o n R e g i o n o f I n t e r e s t i n M e d i c a l I m a g e s 2 0 2 4 0 5 0 2 1 7 : 3 3 : 2 6 A b h i j i t D a s , D e b e s h J h a , V a n d a n G o r a d e , K o u s h i k B i s w a s , H o n g y i P a n , Z h e y u a n Z h a n g , D a n i e l a P . L a d n e r , Y u r y V e l i c h k o , A m i r B o r h a n i , U l a s B a g c i • a r X i v _ C V • • a r X i v _ C V   S e g m e n t a t i o n   F a c e   A t t e n t i o n   S p a r s e   P o s e   M e d i c a l   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t C o m p u t e r a i d e d s e g m e n t a t i o n m e t h o d s c a n a s s i s t m e d i c a l p e r s o n n e l i n i m p r o v i n g d i a g n o s t i c o u t c o m e s . W h i l e r e c e n t a d v a n c e m e n t s l i k e U N e t a n d i t s v a r i a n t s h a v e s h o w n p r o m i s e , t h e y f a c e a c r i t i c a l c h a l l e n g e : b a l a n c i n g a c c u r a c y w i t h c o m p u t a t i o n a l e f f i c i e n c y . S h a l l o w e n c o d e r a r c h i t e c t u r e s i n U N e t s o f t e n s t r u g g l e t o c a p t u r e c r u c i a l s p a t i a l f e a t u r e s , l e a d i n g i n i n a c c u r a t e a n d s p a r s e s e g m e n t a t i o n . T o a d d r e s s t h i s l i m i t a t i o n , w e p r o p o s e a n o v e l \ \ u n d e r l i n e r o g r e s s i v e \ \ u n d e r l i n e t t e n t i o n b a s e d \ \ u n d e r l i n e o b i l e \ \ u n d e r l i n e ( \ \ u n d e r l i n e ) a r c h i t e c t u r e . T h e i n v e r t e d r e s i d u a l ( I R ) b l o c k s i n P A M U N e t h e l p m a i n t a i n a l i g h t w e i g h t f r a m e w o r k , w h i l e l a y e r w i s e \ \ t e x t i t ( $ \ \ m a t h c a l $ ) p r o m o t e s p r e c i s e s e g m e n t a t i o n b y d i r e c t i n g a t t e n t i o n t o w a r d r e g i o n s o f i n t e r e s t d u r i n g s y n t h e s i s . O u r a p p r o a c h p r i o r i t i z e s b o t h a c c u r a c y a n d s p e e d , a c h i e v i n g a c o m m e n d a b l e b a l a n c e w i t h a m e a n I o U o f 7 4 . 6 5 a n d a d i c e s c o r e o f 8 2 . 8 7 , w h i l e r e q u i r i n g o n l y 1 . 3 2 f l o a t i n g p o i n t o p e r a t i o n s p e r s e c o n d ( F L O P S ) o n t h e L i v e r T u m o r S e g m e n t a t i o n B e n c h m a r k ( L i T S ) 2 0 1 7 d a t a s e t . T h e s e r e s u l t s h i g h l i g h t t h e i m p o r t a n c e o f d e v e l o p i n g e f f i c i e n t s e g m e n t a t i o n m o d e l s t o a c c e l e r a t e t h e a d o p t i o n o f A I i n c l i n i c a l p r a c t i c e . A b s t r a c t ( t r a n s l a t e d ) 计 算 机 辅 助 分 割 方 法 可 以 帮 助 医 疗 人 员 提 高 诊 断 结 果 。 
 虽 然 像 U N e t 及 其 变 体 这 样 的 最 近 进 展 显 示 出 前 景 ， 但 它 们 面 临 着 一 个 关 键 挑 战 ： 平 衡 准 确 性 和 计 算 效 率 。 
 U N e t 中 的 浅 层 编 码 器 架 构 通 常 很 难 捕 捉 关 键 的 空 间 特 征 ， 导 致 不 准 确 和 稀 疏 分 割 。 
 为 了 应 对 这 个 局 限 ， 我 们 提 出 了 一 个 新 颖 的 移 动 U N e t （ P A M U N e t ） 架 构 。 
 P A M U N e t 中 的 倒 置 残 差 （ I R ） 块 有 助 于 保 持 轻 量 级 框 架 ， 而 逐 层 的 P L A （ 渐 进 式 洪 注 意 力 ） 通 过 将 注 意 力 指 向 感 兴 趣 区 域 在 合 成 过 程 中 进 行 定 向 ， 促 进 了 精 确 分 割 。 
 我 们 的 方 法 将 准 确 性 和 速 度 优 先 考 虑 ， 实 现 了 7 4 . 6 5 的 均 I o U 和 8 2 . 8 7 的 d i c e 分 数 ， 同 时 仅 在 L i T S 2 0 1 7 数 据 集 上 需 要 每 秒 1 . 3 2 个 浮 点 运 算 （ F L O P s ） 。 
 这 些 结 果 强 调 了 开 发 高 效 的 分 割 模 型 以 加 速 人 工 智 能 在 临 床 实 践 中 的 采 用 的 重 要 性 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 5 0 3 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 5 0 3 . p d f R e a d A l l A n a l y z i n g t h e R o l e o f S e m a n t i c R e p r e s e n t a t i o n s i n t h e E r a o f L a r g e L a n g u a g e M o d e l s 2 0 2 4 0 5 0 2 1 7 : 3 2 : 5 9 Z h i j i n g J i n , Y u e n C h e n , F e r n a n d o G o n z a l e z , J i a r u i L i u , J i a y i Z h a n g , J u l i a n M i c h a e l , B e r n h a r d S c h ö l k o p f , M o n a D i a b • a r X i v _ A I • • a r X i v _ A I   I n f e r e n c e   P r e d i c t i o n   L a n g u a g e _ M o d e l   P o s e   L L M   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t T r a d i t i o n a l l y , n a t u r a l l a n g u a g e p r o c e s s i n g ( N L P ) m o d e l s o f t e n u s e a r i c h s e t o f f e a t u r e s c r e a t e d b y l i n g u i s t i c e x p e r t i s e , s u c h a s s e m a n t i c r e p r e s e n t a t i o n s . H o w e v e r , i n t h e e r a o f l a r g e l a n g u a g e m o d e l s ( L L M s ) , m o r e a n d m o r e t a s k s a r e t u r n e d i n t o g e n e r i c , e n d t o e n d s e q u e n c e g e n e r a t i o n p r o b l e m s . I n t h i s p a p e r , w e i n v e s t i g a t e t h e q u e s t i o n : w h a t i s t h e r o l e o f s e m a n t i c r e p r e s e n t a t i o n s i n t h e e r a o f L L M s ? S p e c i f i c a l l y , w e i n v e s t i g a t e t h e e f f e c t o f A b s t r a c t M e a n i n g R e p r e s e n t a t i o n ( A M R ) a c r o s s f i v e d i v e r s e N L P t a s k s . W e p r o p o s e a n A M R d r i v e n c h a i n o f t h o u g h t p r o m p t i n g m e t h o d , w h i c h w e c a l l A M R C o T , a n d f i n d t h a t i t g e n e r a l l y h u r t s p e r f o r m a n c e m o r e t h a n i t h e l p s . T o i n v e s t i g a t e w h a t A M R m a y h a v e t o o f f e r o n t h e s e t a s k s , w e c o n d u c t a s e r i e s o f a n a l y s i s e x p e r i m e n t s . W e f i n d t h a t i t i s d i f f i c u l t t o p r e d i c t w h i c h i n p u t e x a m p l e s A M R m a y h e l p o r h u r t o n , b u t e r r o r s t e n d t o a r i s e w i t h m u l t i w o r d e x p r e s s i o n s , n a m e d e n t i t i e s , a n d i n t h e f i n a l i n f e r e n c e s t e p w h e r e t h e L L M m u s t c o n n e c t i t s r e a s o n i n g o v e r t h e A M R t o i t s p r e d i c t i o n . W e r e c o m m e n d f o c u s i n g o n t h e s e a r e a s f o r f u t u r e w o r k i n s e m a n t i c r e p r e s e n t a t i o n s f o r L L M s . O u r c o d e : t h i s h t t p s U R L . A b s t r a c t ( t r a n s l a t e d ) 传 统 上 ， 自 然 语 言 处 理 （ N L P ） 模 型 通 常 使 用 由 语 言 专 业 知 识 创 建 的 丰 富 特 征 集 ， 例 如 语 义 表 示 。 
 然 而 ， 在 大 型 语 言 模 型 （ L L M s ） 的 时 代 ， 越 来 越 多 的 任 务 被 转 化 为 通 用 序 列 生 成 问 题 。 
 在 本 文 中 ， 我 们 研 究 了 在 L L M 时 代 语 义 表 示 的 作 用 ： 具 体 来 说 ， 我 们 研 究 了 抽 象 意 义 表 示 （ A M R ） 在 五 个 不 同 N L P 任 务 上 的 效 果 。 
 我 们 提 出 了 一 个 基 于 A M R 的 思 绪 提 示 方 法 ， 我 们 称 之 为 A M R C o T ， 并 发 现 它 通 常 会 损 害 性 能 ， 而 不 是 帮 助 。 
 为 了 研 究 A M R 在 这 些 任 务 上 可 能 提 供 的 优 势 ， 我 们 进 行 了 一 系 列 分 析 实 验 。 
 我 们 发 现 很 难 预 测 A M R 可 能 会 帮 助 或 损 害 哪 些 输 入 示 例 ， 但 错 误 往 往 会 在 多 词 表 达 、 命 名 实 体 和 最 后 推 理 步 骤 中 出 现 ， L L M 必 须 将 推 理 跨 越 A M R 与 预 测 相 结 合 。 
 我 们 建 议 将 未 来 L L M 语 义 表 示 工 作 集 中 在 这 些 领 域 上 。 
 我 们 的 代 码 ： 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 5 0 2 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 5 0 2 . p d f R e a d A l l L o c I n v : L o c a l i z a t i o n a w a r e I n v e r s i o n f o r T e x t G u i d e d I m a g e E d i t i n g 2 0 2 4 0 5 0 2 1 7 : 2 7 : 0 4 C h u a n m i n g T a n g , K a i W a n g , F e i Y a n g , J o o s t v a n d e W e i j e r • a r X i v _ C V • • a r X i v _ C V   S e g m e n t a t i o n   A t t e n t i o n   Q u a n t i t a t i v e   P o s e   D e n o i s i n g   D i f f u s i o n   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t L a r g e s c a l e T e x t t o I m a g e ( T 2 I ) d i f f u s i o n m o d e l s d e m o n s t r a t e s i g n i f i c a n t g e n e r a t i o n c a p a b i l i t i e s b a s e d o n t e x t u a l p r o m p t s . B a s e d o n t h e T 2 I d i f f u s i o n m o d e l s , t e x t g u i d e d i m a g e e d i t i n g r e s e a r c h a i m s t o e m p o w e r u s e r s t o m a n i p u l a t e g e n e r a t e d i m a g e s b y a l t e r i n g t h e t e x t p r o m p t s . H o w e v e r , e x i s t i n g i m a g e e d i t i n g t e c h n i q u e s a r e p r o n e t o e d i t i n g o v e r u n i n t e n t i o n a l r e g i o n s t h a t a r e b e y o n d t h e i n t e n d e d t a r g e t a r e a , p r i m a r i l y d u e t o i n a c c u r a c i e s i n c r o s s a t t e n t i o n m a p s . T o a d d r e s s t h i s p r o b l e m , w e p r o p o s e L o c a l i z a t i o n a w a r e I n v e r s i o n ( L o c I n v ) , w h i c h e x p l o i t s s e g m e n t a t i o n m a p s o r b o u n d i n g b o x e s a s e x t r a l o c a l i z a t i o n p r i o r s t o r e f i n e t h e c r o s s a t t e n t i o n m a p s i n t h e d e n o i s i n g p h a s e s o f t h e d i f f u s i o n p r o c e s s . T h r o u g h t h e d y n a m i c u p d a t i n g o f t o k e n s c o r r e s p o n d i n g t o n o u n w o r d s i n t h e t e x t u a l i n p u t , w e a r e c o m p e l l i n g t h e c r o s s a t t e n t i o n m a p s t o c l o s e l y a l i g n w i t h t h e c o r r e c t n o u n a n d a d j e c t i v e w o r d s i n t h e t e x t p r o m p t . B a s e d o n t h i s t e c h n i q u e , w e a c h i e v e f i n e g r a i n e d i m a g e e d i t i n g o v e r p a r t i c u l a r o b j e c t s w h i l e p r e v e n t i n g u n d e s i r e d c h a n g e s t o o t h e r r e g i o n s . O u r m e t h o d L o c I n v , b a s e d o n t h e p u b l i c l y a v a i l a b l e S t a b l e D i f f u s i o n , i s e x t e n s i v e l y e v a l u a t e d o n a s u b s e t o f t h e C O C O d a t a s e t , a n d c o n s i s t e n t l y o b t a i n s s u p e r i o r r e s u l t s b o t h q u a n t i t a t i v e l y a n d q u a l i t a t i v e l y . T h e c o d e w i l l b e r e l e a s e d a t t h i s h t t p s U R L A b s t r a c t ( t r a n s l a t e d ) 大 规 模 文 本 到 图 像 （ T 2 I ） 扩 散 模 型 基 于 文 本 提 示 表 现 出 显 著 的 生 成 能 力 。 
 基 于 T 2 I 扩 散 模 型 ， 文 本 指 导 图 像 编 辑 研 究 旨 在 通 过 改 变 文 本 提 示 来 用 户 操 纵 生 成 的 图 像 。 
 然 而 ， 现 有 的 图 像 编 辑 技 术 容 易 导 致 编 辑 超 过 预 期 的 目 标 区 域 ， 主 要 原 因 是 跨 注 意 图 的 准 确 性 。 
 为 了 解 决 这 个 问 题 ， 我 们 提 出 了 局 部 化 注 意 的 逆 置 （ L o c I n v ） 技 术 ， 该 技 术 利 用 分 词 图 或 边 界 框 作 为 额 外 的 局 部 化 先 验 来 优 化 扩 散 过 程 的 降 噪 阶 段 中 的 跨 注 意 图 。 
 通 过 动 态 更 新 文 本 输 入 中 相 应 的 名 词 词 位 的 t o k e n s ， 我 们 使 得 跨 注 意 图 与 文 本 提 示 中 的 正 确 名 词 和 形 容 词 词 首 c l o s e l y 对 齐 。 
 基 于 这 种 技 术 ， 我 们 在 特 定 物 体 上 实 现 精 细 图 像 编 辑 ， 同 时 防 止 对 其 他 区 域 的 不 必 要 修 改 。 
 我 们 的 方 法 L o c I n v ， 基 于 公 开 可 用 的 S t a b l e D i f f u s i o n ， 在 C O C O 数 据 集 的 子 集 上 进 行 了 广 泛 的 评 估 ， 并 且 无 论 是 在 数 量 上 还 是 在 质 量 上 ， 都 取 得 了 卓 越 的 结 果 。 
 代 码 将 发 布 在 h t t p s : / / 这 个 U R L 上 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 4 9 6 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 4 9 6 . p d f R e a d A l l N a v i g a t i n g H e t e r o g e n e i t y a n d P r i v a c y i n O n e S h o t F e d e r a t e d L e a r n i n g w i t h D i f f u s i o n M o d e l s 2 0 2 4 0 5 0 2 1 7 : 2 6 : 5 2 M a t i a s M e n d i e t a , G u a n g y u S u n , C h e n C h e n • a r X i v _ C V • • a r X i v _ C V   F a c e   P o s e   D i f f u s i o n   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t F e d e r a t e d l e a r n i n g ( F L ) e n a b l e s m u l t i p l e c l i e n t s t o t r a i n m o d e l s c o l l e c t i v e l y w h i l e p r e s e r v i n g d a t a p r i v a c y . H o w e v e r , F L f a c e s c h a l l e n g e s i n t e r m s o f c o m m u n i c a t i o n c o s t a n d d a t a h e t e r o g e n e i t y . O n e s h o t f e d e r a t e d l e a r n i n g h a s e m e r g e d a s a s o l u t i o n b y r e d u c i n g c o m m u n i c a t i o n r o u n d s , i m p r o v i n g e f f i c i e n c y , a n d p r o v i d i n g b e t t e r s e c u r i t y a g a i n s t e a v e s d r o p p i n g a t t a c k s . N e v e r t h e l e s s , d a t a h e t e r o g e n e i t y r e m a i n s a s i g n i f i c a n t c h a l l e n g e , i m p a c t i n g p e r f o r m a n c e . T h i s w o r k e x p l o r e s t h e e f f e c t i v e n e s s o f d i f f u s i o n m o d e l s i n o n e s h o t F L , d e m o n s t r a t i n g t h e i r a p p l i c a b i l i t y i n a d d r e s s i n g d a t a h e t e r o g e n e i t y a n d i m p r o v i n g F L p e r f o r m a n c e . A d d i t i o n a l l y , w e i n v e s t i g a t e t h e u t i l i t y o f o u r d i f f u s i o n m o d e l a p p r o a c h , F e d D i f f , c o m p a r e d t o o t h e r o n e s h o t F L m e t h o d s u n d e r d i f f e r e n t i a l p r i v a c y ( D P ) . F u r t h e r m o r e , t o i m p r o v e g e n e r a t e d s a m p l e q u a l i t y u n d e r D P s e t t i n g s , w e p r o p o s e a p r a g m a t i c F o u r i e r M a g n i t u d e F i l t e r i n g ( F M F ) m e t h o d , e n h a n c i n g t h e e f f e c t i v e n e s s o f g e n e r a t e d d a t a f o r g l o b a l m o d e l t r a i n i n g . A b s t r a c t ( t r a n s l a t e d ) 联 邦 学 习 （ F L ） 允 许 多 个 客 户 端 共 同 训 练 模 型 ， 同 时 保 持 数 据 隐 私 。 
 然 而 ， F L 在 通 信 成 本 和 数 据 异 质 性 方 面 面 临 挑 战 。 
 一 次 性 的 联 邦 学 习 通 过 减 少 通 信 轮 数 、 提 高 效 率 和 提 供 更 好 的 抗 窃 听 攻 击 来 解 决 这 些 挑 战 。 
 然 而 ， 数 据 异 质 性 仍 然 是 一 个 显 著 的 挑 战 ， 对 性 能 产 生 影 响 。 
 本 文 探 讨 了 扩 散 模 型 在 一 次 性 F L 中 的 有 效 性 ， 证 明 了 它 们 在 解 决 数 据 异 质 性 和 提 高 F L 性 能 方 面 的 应 用 。 
 此 外 ， 我 们 还 研 究 了 在 差 分 隐 私 （ D P ） 设 置 下 使 用 我 们 的 扩 散 模 型 方 法 F e d D i f f 与 其 他 一 次 性 F L 方 法 的 效 用 。 
 为 了 在 D P 设 置 下 提 高 生 成 的 样 本 质 量 ， 我 们 提 出 了 一 个 实 用 的 傅 里 叶 变 换 幅 度 滤 波 （ F M F ） 方 法 ， 从 而 提 高 了 全 局 模 型 训 练 的 有 效 性 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 4 9 4 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 4 9 4 . p d f R e a d A l l C o n t r o l l a b l e T e x t G e n e r a t i o n i n t h e I n s t r u c t i o n T u n i n g E r a 2 0 2 4 0 5 0 2 1 7 : 2 4 : 3 0 D h a n a n j a y A s h o k , B a r n a b a s P o c z o s • a r X i v _ A I • • a r X i v _ A I   L a n g u a g e _ M o d e l   T e x t _ G e n e r a t i o n   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t W h i l e m o s t r e s e a r c h o n c o n t r o l l a b l e t e x t g e n e r a t i o n h a s f o c u s e d o n s t e e r i n g b a s e L a n g u a g e M o d e l s , t h e e m e r g i n g i n s t r u c t i o n t u n i n g a n d p r o m p t i n g p a r a d i g m o f f e r s a n a l t e r n a t e a p p r o a c h t o c o n t r o l l a b i l i t y . W e c o m p i l e a n d r e l e a s e C o n G e n B e n c h , a t e s t b e d o f 1 7 d i f f e r e n t c o n t r o l l a b l e g e n e r a t i o n t a s k s , u s i n g a s u b s e t o f i t t o b e n c h m a r k t h e p e r f o r m a n c e o f 9 d i f f e r e n t b a s e l i n e s a n d m e t h o d s o n I n s t r u c t i o n t u n e d L a n g u a g e M o d e l s . T o o u r s u r p r i s e , w e f i n d t h a t p r o m p t i n g b a s e d a p p r o a c h e s o u t p e r f o r m c o n t r o l l a b l e t e x t g e n e r a t i o n m e t h o d s o n m o s t d a t a s e t s a n d t a s k s , h i g h l i g h t i n g a n e e d f o r r e s e a r c h o n c o n t r o l l a b l e t e x t g e n e r a t i o n w i t h I n s t r u c t i o n t u n e d L a n g u a g e M o d e l s i n s p e c i f i c . P r o m p t b a s e d a p p r o a c h e s m a t c h h u m a n p e r f o r m a n c e o n m o s t s t y l i s t i c t a s k s w h i l e l a g g i n g o n s t r u c t u r a l t a s k s , f o r e g r o u n d i n g a n e e d t o s t u d y m o r e v a r i e d c o n s t r a i n t s a n d m o r e c h a l l e n g i n g s t y l i s t i c t a s k s . T o f a c i l i t a t e s u c h r e s e a r c h , w e p r o v i d e a n a l g o r i t h m t h a t u s e s o n l y a t a s k d a t a s e t a n d a L a r g e L a n g u a g e M o d e l w i t h i n c o n t e x t c a p a b i l i t i e s t o a u t o m a t i c a l l y g e n e r a t e a c o n s t r a i n t d a t a s e t . T h i s m e t h o d e l i m i n a t e s t h e f i e l d s d e p e n d e n c e o n p r e c u r a t e d c o n s t r a i n t d a t a s e t s , h e n c e v a s t l y e x p a n d i n g t h e r a n g e o f c o n s t r a i n t s t h a t c a n b e s t u d i e d i n t h e f u t u r e . A b s t r a c t ( t r a n s l a t e d ) 尽 管 关 于 可 控 制 文 本 生 成 的 研 究 主 要 集 中 在 引 导 基 础 语 言 模 型 ， 但 新 兴 的 指 令 调 整 和 提 示 范 式 提 供 了 一 种 可 控 制 的 新 方 法 。 
 我 们 使 用 部 分 数 据 集 编 译 和 发 布 C o n G e n B e n c h ， 使 用 其 中 的 一 部 分 来 基 准 9 种 不 同 的 基 线 和 方 法 在 指 令 调 整 语 言 模 型 上 的 性 能 。 
 令 我 们 惊 讶 的 是 ， 基 于 提 示 的 方 法 在 大 多 数 数 据 集 和 任 务 上 优 于 可 控 制 文 本 生 成 方 法 ， 突 出 了 在 特 定 情 况 下 研 究 可 控 制 文 本 生 成 与 指 令 调 整 语 言 模 型 的 需 要 。 
 基 于 提 示 的 方 法 在 大 多 数 风 格 化 任 务 上 与 人 类 性 能 相 匹 配 ， 但 在 结 构 化 任 务 上 落 后 ， 突 出 了 需 要 研 究 更 广 泛 的 约 束 以 及 更 具 挑 战 性 的 风 格 化 任 务 。 
 为 了 促 进 这 种 研 究 ， 我 们 提 供 了 一 种 使 用 任 务 数 据 集 和 大 语 言 模 型 （ 具 有 上 下 文 功 能 ） 自 动 生 成 约 束 数 据 集 的 算 法 。 
 这 种 方 法 消 除 了 依 赖 性 ， 因 此 极 大 地 扩 展 了 可 以 研 究 的 约 束 范 围 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 4 9 0 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 4 9 0 . p d f R e a d A l l M A N T I S : I n t e r l e a v e d M u l t i I m a g e I n s t r u c t i o n T u n i n g 2 0 2 4 0 5 0 2 1 7 : 1 4 : 5 7 D o n g f u J i a n g , X u a n H e , H u a y e Z e n g , C o n g W e i , M a x K u , Q i a n L i u , W e n h u C h e n • a r X i v _ A I • • a r X i v _ A I   T r a n s f o r m e r   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t T h e r e c e n t y e a r s h a v e w i t n e s s e d a g r e a t a r r a y o f l a r g e m u l t i m o d a l m o d e l s ( L M M s ) t o e f f e c t i v e l y s o l v e s i n g l e i m a g e v i s i o n l a n g u a g e t a s k s . H o w e v e r , t h e i r a b i l i t i e s t o s o l v e m u l t i i m a g e v i s u a l l a n g u a g e t a s k s i s y e t t o b e i m p r o v e d . T h e e x i s t i n g m u l t i i m a g e L M M s ( e . g . O p e n F l a m i n g o , E m u , I d e f i c s , e t c ) m o s t l y g a i n t h e i r m u l t i i m a g e a b i l i t y t h r o u g h p r e t r a i n i n g o n h u n d r e d s o f m i l l i o n s o f n o i s y i n t e r l e a v e d i m a g e t e x t d a t a f r o m w e b , w h i c h i s n e i t h e r e f f i c i e n t n o r e f f e c t i v e . I n t h i s p a p e r , w e a i m a t b u i l d i n g s t r o n g m u l t i i m a g e L M M s v i a i n s t r u c t i o n t u n i n g w i t h a c a d e m i c l e v e l r e s o u r c e s . T h e r e f o r e , w e m e t i c u l o u s l y c o n s t r u c t M a n t i s I n s t r u c t c o n t a i n i n g 7 2 1 K i n s t a n c e s f r o m 1 4 m u l t i i m a g e d a t a s e t s . W e d e s i g n M a n t i s I n s t r u c t t o c o v e r d i f f e r e n t m u l t i i m a g e s k i l l s l i k e c o r e f e r e n c e , r e a s o n i n g , c o m p a r i n g , t e m p o r a l u n d e r s t a n d i n g . W e c o m b i n e M a n t i s I n s t r u c t w i t h s e v e r a l s i n g l e i m a g e v i s u a l l a n g u a g e d a t a s e t s t o t r a i n o u r m o d e l M a n t i s t o h a n d l e a n y i n t e r l e a v e d i m a g e t e x t i n p u t s . W e e v a l u a t e t h e t r a i n e d M a n t i s o n f i v e m u l t i i m a g e b e n c h m a r k s a n d e i g h t s i n g l e i m a g e b e n c h m a r k s . T h o u g h o n l y r e q u i r i n g a c a d e m i c l e v e l r e s o u r c e s ( i . e . 3 6 h o u r s o n 1 6 x A 1 0 0 4 0 G ) , M a n t i s 8 B c a n a c h i e v e s t a t e o f t h e a r t p e r f o r m a n c e o n a l l t h e m u l t i i m a g e b e n c h m a r k s a n d b e a t s t h e e x i s t i n g b e s t m u l t i i m a g e L M M I d e f i c s 2 8 B b y a n a v e r a g e o f 9 a b s o l u t e p o i n t s . W e o b s e r v e t h a t M a n t i s p e r f o r m s e q u i v a l e n t l y w e l l o n t h e h e l d i n a n d h e l d o u t e v a l u a t i o n b e n c h m a r k s . W e f u r t h e r e v a l u a t e M a n t i s o n s i n g l e i m a g e b e n c h m a r k s a n d d e m o n s t r a t e t h a t M a n t i s c a n m a i n t a i n a s t r o n g s i n g l e i m a g e p e r f o r m a n c e o n p a r w i t h C o g V L M a n d E m u 2 . O u r r e s u l t s a r e p a r t i c u l a r l y e n c o u r a g i n g a s i t s h o w s t h a t l o w c o s t i n s t r u c t i o n t u n i n g i s i n d e e d m u c h m o r e e f f e c t i v e t h a n i n t e n s i v e p r e t r a i n i n g i n t e r m s o f b u i l d i n g m u l t i i m a g e L M M s . A b s t r a c t ( t r a n s l a t e d ) 近 年 来 ， 已 经 出 现 了 许 多 大 型 多 模 态 模 型 （ L M M s ） 来 有 效 地 解 决 单 图 像 视 觉 语 言 任 务 。 
 然 而 ， 它 们 在 解 决 多 图 像 视 觉 语 言 任 务 方 面 的 能 力 还 有 待 提 高 。 
 现 有 的 多 图 像 L M M （ 如 O p e n F l a m i n g o 、 E m u 、 I d e f i c s 等 ） 主 要 是 通 过 在 数 十 亿 个 n o i s y 图 像 文 本 数 据 上 进 行 预 训 练 来 获 得 多 图 像 能 力 ， 这 既 不 高 效 也 不 有 效 。 
 在 本 文 中 ， 我 们 通 过 使 用 学 术 级 别 的 资 源 进 行 指 令 微 调 来 构 建 强 大 的 多 图 像 L M M 。 
 因 此 ， 我 们 详 细 构 建 了 包 含 1 4 个 多 图 像 数 据 集 的 M a n t i s I n s t r u c t ， 每 个 数 据 集 包 含 7 2 1 K 个 实 例 。 
 我 们 设 计 M a n t i s I n s t r u c t 以 涵 盖 不 同 的 多 图 像 技 能 ， 如 共 指 、 推 理 、 比 较 和 时 间 理 解 。 
 我 们 将 M a n t i s I n s t r u c t 与 几 个 单 图 像 视 觉 语 言 数 据 集 相 结 合 来 训 练 我 们 的 模 型 M a n t i s ， 以 处 理 任 何 交 互 式 图 像 文 本 输 入 。 
 我 们 在 五 个 多 图 像 基 准 和 八 个 单 图 像 基 准 上 对 训 练 后 的 M a n t i s 进 行 评 估 。 
 尽 管 只 需 要 学 术 级 别 的 资 源 （ 即 1 6 x A 1 0 0 4 0 G ， 3 6 小 时 ） ， M a n t i s 8 B 在 所 有 多 图 像 基 准 上 实 现 了 与 最 先 进 的 单 图 像 L M M I d e f i c s 2 8 B 相 同 的 平 均 9 个 绝 对 点 的 性 能 。 
 我 们 观 察 到 M a n t i s 在 保 持 托 管 和 拨 出 评 估 基 准 方 面 表 现 相 当 。 
 我 们 进 一 步 评 估 M a n t i s 在 单 图 像 基 准 上 的 表 现 ， 并 证 明 了 M a n t i s 与 C o g V L M 和 E m u 2 具 有 相 同 的 单 图 像 性 能 。 
 我 们 的 结 果 尤 其 鼓 舞 人 心 ， 因 为 它 表 明 低 成 本 指 令 微 调 在 构 建 多 图 像 L M M 方 面 确 实 比 密 集 预 训 练 更 有 效 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 4 8 3 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 4 8 3 . p d f R e a d A l l N e M o A l i g n e r : S c a l a b l e T o o l k i t f o r E f f i c i e n t M o d e l A l i g n m e n t 2 0 2 4 0 5 0 2 1 7 : 1 3 : 4 0 G e r a l d S h e n , Z h i l i n W a n g , O l i v i e r D e l a l l e a u , J i a q i Z e n g , Y i D o n g , D a n i e l E g e r t , S h e n g y a n g S u n , J i m m y Z h a n g , S a h i l J a i n , A l i T a g h i b a k h s h i , M a r k e l S a n z A u s i n , A s h w a t h A i t h a l , O l e k s i i K u c h a i e v • a r X i v _ A I • • a r X i v _ A I   R e i n f o r c e m e n t _ L e a r n i n g   O p t i m i z a t i o n   L a n g u a g e _ M o d e l   L L M   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t A l i g n i n g L a r g e L a n g u a g e M o d e l s ( L L M s ) w i t h h u m a n v a l u e s a n d p r e f e r e n c e s i s e s s e n t i a l f o r m a k i n g t h e m h e l p f u l a n d s a f e . H o w e v e r , b u i l d i n g e f f i c i e n t t o o l s t o p e r f o r m a l i g n m e n t c a n b e c h a l l e n g i n g , e s p e c i a l l y f o r t h e l a r g e s t a n d m o s t c o m p e t e n t L L M s w h i c h o f t e n c o n t a i n t e n s o r h u n d r e d s o f b i l l i o n s o f p a r a m e t e r s . W e c r e a t e N e M o A l i g n e r , a t o o l k i t f o r m o d e l a l i g n m e n t t h a t c a n e f f i c i e n t l y s c a l e t o u s i n g h u n d r e d s o f G P U s f o r t r a i n i n g . N e M o A l i g n e r c o m e s w i t h h i g h l y o p t i m i z e d a n d s c a l a b l e i m p l e m e n t a t i o n s f o r m a j o r p a r a d i g m s o f m o d e l a l i g n m e n t s u c h a s : R e i n f o r c e m e n t L e a r n i n g f r o m H u m a n F e e d b a c k ( R L H F ) , D i r e c t P r e f e r e n c e O p t i m i z a t i o n ( D P O ) , S t e e r L M , a n d S e l f P l a y F i n e T u n i n g ( S P I N ) . A d d i t i o n a l l y , o u r t o o l k i t s u p p o r t s r u n n i n g m o s t o f t h e a l i g n m e n t t e c h n i q u e s i n a P a r a m e t e r E f f i c i e n t F i n e T u n i n g ( P E F T ) s e t t i n g . N e M o A l i g n e r i s d e s i g n e d f o r e x t e n s i b i l i t y , a l l o w i n g s u p p o r t f o r o t h e r a l i g n m e n t t e c h n i q u e s w i t h m i n i m a l e f f o r t . I t i s o p e n s o u r c e d w i t h A p a c h e 2 . 0 L i c e n s e a n d w e i n v i t e c o m m u n i t y c o n t r i b u t i o n s a t t h i s h t t p s U R L A b s t r a c t ( t r a n s l a t e d ) 将 大 型 语 言 模 型 （ L L M s ） 与 人 类 价 值 观 和 偏 好 对 齐 是 使 其 有 帮 助 和 安 全 的 充 要 条 件 。 
 然 而 ， 构 建 高 效 的 工 具 执 行 对 齐 可 能 具 有 挑 战 性 ， 尤 其 是 对 于 包 含 数 十 亿 或 数 百 亿 个 参 数 的 大 型 和 最 强 大 的 L L M 。 
 我 们 创 建 了 N e M o A l i g n e r ， 一 个 用 于 模 型 对 齐 的 工 具 包 ， 可 以 高 效 地 扩 展 到 使 用 数 百 个 G P U 进 行 训 练 。 
 N e M o A l i g n e r 附 带 高 度 优 化 的 可 扩 展 实 现 ， 适 用 于 主 要 模 型 对 齐 范 式 ： 强 化 学 习 来 自 人 类 反 馈 （ R L H F ） 、 直 接 偏 好 优 化 （ D P O ） 、 S t e e r L M 和 自 玩 微 调 （ S P I N ） 。 
 此 外 ， 我 们 的 工 具 包 支 持 在 参 数 高 效 微 调 （ P E F T ） 设 置 中 运 行 大 多 数 对 齐 技 术 。 
 N e M o A l i g n e r 旨 在 可 扩 展 性 ， 允 许 支 持 其 他 对 齐 技 术 ， 只 需 付 出 很 少 的 努 力 。 
 它 使 用 A p a c h e 2 . 0 许 可 证 开 源 ， 并 邀 请 您 在 此 链 接 处 为 社 区 贡 献 ： h t t p s : / / w w w . n e m o a l i g n e r . o r g / U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 4 8 1 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 4 8 1 . p d f R e a d A l l V F L U T E : V i s u a l F i g u r a t i v e L a n g u a g e U n d e r s t a n d i n g w i t h T e x t u a l E x p l a n a t i o n s 2 0 2 4 0 5 0 2 1 7 : 0 7 : 2 5 A r k a d i y S a a k y a n , S h r e y a s K u l k a r n i , T u h i n C h a k r a b a r t y , S m a r a n d a M u r e s a n • a r X i v _ A I • • a r X i v _ A I   C a p t i o n   V Q A   L a n g u a g e _ M o d e l   T r a n s f o r m e r   P o s e   A b s t r a c t A b s t r a c t ( t r a n s l a t e d ) U R L P D F A b s t r a c t L a r g e V i s i o n L a n g u a g e m o d e l s ( V L M s ) h a v e d e m o n s t r a t e d s t r o n g r e a s o n i n g c a p a b i l i t i e s i n t a s k s r e q u i r i n g a f i n e g r a i n e d u n d e r s t a n d i n g o f l i t e r a l i m a g e s a n d t e x t , s u c h a s v i s u a l q u e s t i o n a n s w e r i n g o r v i s u a l e n t a i l m e n t . H o w e v e r , t h e r e h a s b e e n l i t t l e e x p l o r a t i o n o f t h e s e m o d e l s c a p a b i l i t i e s w h e n p r e s e n t e d w i t h i m a g e s a n d c a p t i o n s c o n t a i n i n g f i g u r a t i v e p h e n o m e n a s u c h a s m e t a p h o r s o r h u m o r , t h e m e a n i n g o f w h i c h i s o f t e n i m p l i c i t . T o c l o s e t h i s g a p , w e p r o p o s e a n e w t a s k a n d a h i g h q u a l i t y d a t a s e t : V i s u a l F i g u r a t i v e L a n g u a g e U n d e r s t a n d i n g w i t h T e x t u a l E x p l a n a t i o n s ( V F L U T E ) . W e f r a m e t h e v i s u a l f i g u r a t i v e l a n g u a g e u n d e r s t a n d i n g p r o b l e m a s a n e x p l a i n a b l e v i s u a l e n t a i l m e n t t a s k , w h e r e t h e m o d e l h a s t o p r e d i c t w h e t h e r t h e i m a g e ( p r e m i s e ) e n t a i l s a c l a i m ( h y p o t h e s i s ) a n d j u s t i f y t h e p r e d i c t e d l a b e l w i t h a t e x t u a l e x p l a n a t i o n . U s i n g a h u m a n A I c o l l a b o r a t i o n f r a m e w o r k , w e b u i l d a h i g h q u a l i t y d a t a s e t , V F L U T E , t h a t c o n t a i n s 6 , 0 2 7 i n s t a n c e s s p a n n i n g f i v e d i v e r s e m u l t i m o d a l f i g u r a t i v e p h e n o m e n a : m e t a p h o r s , s i m i l e s , i d i o m s , s a r c a s m , a n d h u m o r . T h e f i g u r a t i v e p h e n o m e n a c a n b e p r e s e n t e i t h e r i n t h e i m a g e , t h e c a p t i o n , o r b o t h . W e f u r t h e r c o n d u c t b o t h a u t o m a t i c a n d h u m a n e v a l u a t i o n s t o a s s e s s c u r r e n t V L M s c a p a b i l i t i e s i n u n d e r s t a n d i n g f i g u r a t i v e p h e n o m e n a . A b s t r a c t ( t r a n s l a t e d ) 大 视 觉 语 言 模 型 （ V L M s ） 已 经 在 需 要 对 字 面 图 像 和 文 本 进 行 深 入 理 解 的 任 务 中 表 现 出 强 大 的 推 理 能 力 ， 例 如 视 觉 问 答 或 视 觉 蕴 含 。 
 然 而 ， 在 遇 到 包 含 象 征 性 现 象 （ 如 隐 喻 或 幽 默 ） 的 图 像 和 字 幕 时 ， 对 这 些 模 型 的 能 力 进 行 了 深 入 的 研 究 还 是 很 少 的 。 
 为 了 填 补 这 一 空 白 ， 我 们 提 出 了 一 个 新 的 任 务 和 高 质 量 的 数 据 集 ： 视 觉 符 号 语 言 理 解 与 文 本 解 释 （ V F L U T E ） 。 
 我 们 将 视 觉 符 号 语 言 理 解 问 题 视 为 一 种 可 解 释 的 视 觉 蕴 含 任 务 ， 其 中 模 型 需 要 预 测 图 像 （ 前 提 ） 是 否 符 合 一 个 假 设 （ 结 论 ） ， 并 通 过 文 本 解 释 预 测 标 签 。 
 利 用 人 机 合 作 框 架 ， 我 们 构 建 了 一 个 高 质 量 的 数 据 集 V F L U T E ， 其 中 包 括 6 , 0 2 7 个 实 例 ， 涵 盖 了 五 种 多 样 m u l t i m o d a l 符 号 现 象 ： 隐 喻 、 比 喻 、 惯 用 语 、 讽 刺 和 幽 默 。 
 符 号 现 象 可 以 出 现 在 图 像 中 ， 描 述 中 ， 或 两 者 兼 备 。 
 我 们 进 一 步 进 行 了 自 动 和 人 类 评 估 ， 以 评 估 现 有 V L M s 对 符 号 现 象 的 理 解 能 力 。 
 U R L h t t p s : / / a r x i v . o r g / a b s / 2 4 0 5 . 0 1 4 7 4 P D F C o p y h t t p s : / / a r x i v . o r g / p d f / 2 4 0 5 . 0 1 4 7 4 . p d f R e a d A l l 1 6 3 3 4 T a g s 3 D A c t i o n A c t i o n _ L o c a l i z a t i o n A c t i o n _ R e c o g n i t i o n A c t i v i t y A d v e r s a r i a l A g e n t A t t e n t i o n A u t o n o m o u s B e r t B o u n d a r y _ D e t e c t i o n C a p t i o n C h a t C l a s s i f i c a t i o n C N N C o m p r e s s i v e _ S e n s i n g C o n t o u r C o n t r a s t i v e _ L e a r n i n g D e e p _ L e a r n i n g D e n o i s i n g D e t e c t i o n D i a l o g D i f f u s i o n D r o n e D y n a m i c _ M e m o r y _ N e t w o r k E d g e _ D e t e c t i o n E m b e d d i n g E m b o d i e d E m o t i o n E n h a n c e m e n t F a c e F a c e _ D e t e c t i o n F a c e _ R e c o g n i t i o n F a c i a l _ L a n d m a r k F e w S h o t G a i t _ R e c o g n i t i o n G A N G a z e _ E s t i m a t i o n G e s t u r e G r a d i e n t _ D e s c e n t H a n d w r i t i n g H u m a n _ P a r s i n g I m a g e _ C a p t i o n I m a g e _ C l a s s i f i c a t i o n I m a g e _ C o m p r e s s i o n I m a g e _ E n h a n c e m e n t I m a g e _ G e n e r a t i o n I m a g e _ M a t t i n g I m a g e _ R e t r i e v a l I n f e r e n c e I n p a i n t i n g I n t e l l i g e n t _ C h i p K n o w l e d g e K n o w l e d g e _ G r a p h L a n g u a g e _ M o d e l L L M M a t c h i n g M e d i c a l M e m o r y _ N e t w o r k s M u l t i _ M o d a l M u l t i _ T a s k N A S N M T O b j e c t _ D e t e c t i o n O b j e c t _ T r a c k i n g O C R O n t o l o g y O p t i c a l _ C h a r a c t e r O p t i c a l _ F l o w O p t i m i z a t i o n P e r s o n _ R e i d e n t i f i c a t i o n P o i n t _ C l o u d P o r t r a i t _ G e n e r a t i o n P o s e P o s e _ E s t i m a t i o n P r e d i c t i o n Q A Q u a n t i t a t i v e Q u a n t i t a t i v e _ F i n a n c e Q u a n t i z a t i o n R e i d e n t i f i c a t i o n R e c o g n i t i o n R e c o m m e n d a t i o n R e c o n s t r u c t i o n R e g u l a r i z a t i o n R e i n f o r c e m e n t _ L e a r n i n g R e l a t i o n R e l a t i o n _ E x t r a c t i o n R e p r e s e n a t i o n R e p r e s e n a t i o n _ L e a r n i n g R e s t o r a t i o n R e v i e w R N N R o b o t S a l i e n t S c e n e _ C l a s s i f i c a t i o n S c e n e _ G e n e r a t i o n S c e n e _ P a r s i n g S c e n e _ T e x t S e g m e n t a t i o n S e l f S u p e r v i s e d S e m a n t i c _ I n s t a n c e _ S e g m e n t a t i o n S e m a n t i c _ S e g m e n t a t i o n S e m i _ G l o b a l S e m i _ S u p e r v i s e d S e n c e _ g r a p h S e n t i m e n t S e n t i m e n t _ C l a s s i f i c a t i o n S k e t c h S L A M S p a r s e S p e e c h S p e e c h _ R e c o g n i t i o n S t y l e _ T r a n s f e r S u m m a r i z a t i o n S u p e r _ R e s o l u t i o n S u r v e i l l a n c e S u r v e y T e x t _ C l a s s i f i c a t i o n T e x t _ G e n e r a t i o n T r a c k i n g T r a n s f e r _ L e a r n i n g T r a n s f o r m e r U n s u p e r v i s e d V i d e o _ C a p t i o n V i d e o _ C l a s s i f i c a t i o n V i d e o _ I n d e x i n g V i d e o _ P r e d i c t i o n V i d e o _ R e t r i e v a l V i s u a l _ R e l a t i o n V Q A W e a k l y _ S u p e r v i s e d Z e r o S h o t R e c e n t P a p e r s C o n t a c t m e a t : 京 I C P 备 1 8 0 3 6 3 0 0 号 1
发表评论

温馨提示

做上本站友情链接,在您站上点击一次,即可自动秒收录并自动排在本站第一位！
<a href="http://www.quanzhangjie.com/" target="_blank">全章节自动收录网站导航</a>