- 列举了一些优秀的艺术设计学论文题 46
- 中国科学院与海外合作者在湖泊水温 51
- 北京大学林宙辰教授、张牧涵助理教 48
- 互联网医疗论文发表期刊的建立的意 48
- 论文中关键词的作用 54
- 在选择和处理审稿人的过程中作者需 47
- 关于论文选题技巧有哪些? 51
- 南开大学元素有机国家重点实验室周 58
- 人工智能研究院朱毅鑫及合作者在复 151
- 南方医科大学刘克玄教授团队在肠源 40
- 常见的分享学术会议成果的方法 61
- 探讨学术会议交流论文有哪些特点和 53
- 北大深研院潘锋团队基于弹性晶格实 41
- 北京理工大学陈棋教授团队在钙钛矿 37
- 如何做好生物医学论文的翻译 59
- 武汉志明文化传播有限公司 7410
- 北京环球卓越投资有限公司 22372
- 武汉赛思会务有限公司 23384
- 中国东北大学 22373
- 中国社会岩石力学工程 22371
- 武汉千学信息咨询有限公司 1397
- 国际工学技术出版协会 22384
- 沈阳中意国际旅行社会议服务部 20391
- 重庆维普资讯有限公司 7408
- 兰州理工大学 17411
- 中国汽车会议网 17371
- 广东宏展科技有限公司 23390
- 中国兵工学会测试技术专业委员会 22406
- 武汉市cse主办 17377
- 2018第二届教育与社会发展国际 22391
- 中科成创(北京)生物技术有限公司 7408
- 中国科学院青海盐湖研究所 20378
- 上海广尧商务咨询公司 7372
- 北京工业大学 1414
- 杭州市商贸会有限公司 17394
清华大学医学院廖洪恩课题组在人工智能视觉三维重建方面取得重要进展
2024/04/28
我们生活在一个三维的世界中,三维信息对于我们的感知和理解这个世界至关重要。从二维显示中获得深度信息可以更好地实现人机交互;获取和处理实时三维路况信息是自动驾驶技术的关键;医生在手术场景中获取三维信息可以更精确地识别和处理病灶位置……获取、恢复和重建三维信息,是计算机视觉领域的核心研究内容,在工业、娱乐、教育、医疗等领域有着广泛应用前景。
两视图几何是三维重建的基础。在两幅相关图片中找到对应于同一三维点的二维特征点,即建立匹配关系,可以计算出位姿变换和三维点坐标,这是许多三维重建任务的基础步骤,比如运动恢复结构(structure from motion, SFM),同时定位与地图构建(simultaneous localization and mapping,SLAM)等。一般通过对提取到的特征点建立描述符,然后根据最近邻关系进行初步匹配。这样得到的匹配关系存在大量的误匹配(可能高达95%),因此需要识别并剔除错误匹配(outlier rejection)。传统的方法是基于随机一致性采样(RANSAC),但是在视角变换大、亮度变换剧烈、存在遮挡等情况中无法取得满意效果。因此,如何更好地识别和剔除误匹配成为了三维重建中的瓶颈任务。
近日,清华大学医学院生物医学工程系廖洪恩教授课题组的学术论文“OANet:基于层次结构的图神经网络来学习两视图几何匹配关系建立”(OANet: Learning Two-View Correspondences and Geometry Using Order-Aware Network)被国际电气电子工程师学会-模式分析与机器智能汇刊(IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE TPAMI)出版,刊登在2022年第44期第6卷。该研究通过设计一个新的图神经网络结构,对两视图的初步匹配关系进行误匹配识别和剔除,取得了很好的结果,极大提升了三维重建任务的效果。IEEE TPAMI是人工智能领域公认的知名期刊之一,也是中国计算机学会认定的人工智能领域A类期刊之一。
图1. 本研究提出的OA-Net网络结构
廖洪恩课题组提出了一种新的神经网络结构OANet(Order-Aware Network,图1)实现了对误匹配的高效识别和剔除。该网络以初始建立的匹配点对为输入,输出每对点对是正确匹配的概率。由于输入点对没有顺序关系,无法应用卷积神经网络,本研究从图卷积中的池化操作得到启发,以多层神经网络为基本结构,设计了差异化池化层(Differentiable Pooling layer)模块(图2左),通过训练得到一个分配矩阵(assignment matrix),将该矩阵和输入点对矩阵相乘,实现对输入点对的聚类(cluster)。文中证明,这样得到的聚类是输入不变的(permutation-equivariant),即无论输入点对是以什么顺序进入网络,得到的聚类顺序是不变的,这样通过网络学习到了输入点对的内在结构。为了使得网络能对每个输入点对都进行分类,又设计了差异化反池化层(Differentiable Unpooling Layer)模块(图2右),通过学习到一个反池化分配矩阵(unpooling assignment matrix),将聚类反投影成为与输入点对一一对应的输出结构。利用新的池化和反池化操作,可以构建层次化的图神经网络,从而极大地提升了基于多层神经网络的图神经网络的表达能力,并保持了O(N)的复杂度。网络最终为每个输入点对都被分配了一个概率,表示是否为正确匹配,以这个概率加权的八点法得到的两视图基本矩阵作为损失函数对网络进行训练。在应用阶段,剔除掉低概率的点对,就能实现对匹配的识别和过滤。
图2. 左:差异化池化层(Differentiable Pooling layer)模块;右:差异化反池化层(Differentiable Unpooling Layer)模块
本研究使用该网络结构在多个任务中进行了实验,包括室内室外数据集上的位姿估计任务、运动恢复结构任务、视觉定位任务,都极大提升了重建精度,并超越了同时期其他算(图3)法。相关的研究方法曾在IEEE国际计算机视觉与模式识别会议(CVPR 2019)图像匹配比赛中取得了第一名,并在视觉定位任务中也取得了最优(state-of-the-art)。本研究提出的网络结构通用性好,对特征点提取等步骤没有限制。匹配点对的内在结构和是否是正确匹配由网络训练得到,无需人工定义,可以非常方便地在特定任务中“即插即用”(Plug-and-Play)。本研究还对网络的泛化性进行了实验,结果表明提出的网络泛化性好,有迁移到其他非自然图像场景的应用潜力。
图3. 在室内室外位姿估计任务中和其他方法对比,最下一行是本研究提出的方法
清华大学医学院教授廖洪恩是该研究的通讯作者,2020届博士毕业生张家辉为该研究的第一作者。该研究得到国家自然科学基金项目国家重大科研仪器研制项目、国家重点研发计划重点专项、北京市自然科学基金等项目支持。
廖洪恩课题组长期致力于三维医学影像和微创精准诊疗的研究,依据临床手术过程中的实时信息指引,以实施精密治疗从而提高治愈率和患者的生存质量(Quality of Life)为目的,致力于创建和推广一种以增强现实医学影像显示技术和智能微创器械为诊断和治疗平台的精准微创诊疗一体化模式。课题组先后提出了基于术前术中多模态信息融合分析实时诊疗引导、智能型微创手术机器人辅助精准诊疗等理论与系统,为针对复杂外科疾病的跨尺度多模态成像引导智能化诊疗理论的建立奠定了坚实的基础,相关研究被国际知名学术期刊《医学影像分析》(Medical Image Analysis)、《IEEE医学影像汇刊》(IEEE Transaction on Medical Imaging)、《柔性机器人技术》(Soft Robotics)、《诊疗》(Theranostics)等报道。
文章来源清华大学新闻,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
大连理工大学徐铁齐教授团队与海外合作者在可循环聚酯塑料研究方面取得进展
清华大学航院冯西桥团队合作揭示癌细胞自适应转移的蛋白质调控力学机制
西安交通大学与海外合作者在去中心化自治组织平台治理模式研究方面取得进展
清华大学 材料学院林元华团队在高性能硒化亚铜基复合热电材料方面取得进展
北京大学药学院汪贻广研究团队发展新一代pH超敏感纳米递送技术
北京大学汇丰商学院唐闯与合作者在Marketing Science发文 构建在P2P共享平台上物品所有者接受共享请求决策的动态模型
第十一届先进制造技术与材料工程国际学术会议 (AMTME 2024)(2024-05-17)
第五届计算机通信与网络安全国际学术会议 (CCNS 2024)(2024-05-17)
2024年教育政策与实践研讨会(ICEPP 2024)(2024-05-24)
第九届机电控制技术与交通运输国际学术会议(ICECTT 2024)(2024-05-24)
第三届机电一体化与机械工程国际会议(ICMME2024)(2024-05-24)
2024年电子器件、传感控制技术与光学机械工程国际学术会议(EDSCTOE 2024)(2024-05-25)
第十四届地质和地球物理学国际会议(ICGG 2024)(2024-05-31)
2024年食品工程与农业科学国际会议(ICFEAS 2024)(2024-06-02)
2024年第三届网络、通信与信息技术国际会议(CNCIT 2024)(2024-06-07)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
2024年经济、大数据与区块链国际学术会议(ICEBDB 2024)(2024-5-29)
2024年计算机技术与数据安全国际会议(ICCTDS 2024)(2024-5-29)
2024年机电一体化、控制工程与人工智能国际会议(CMCEAI 2024)(2024-5-18)
2024年土木工程与建筑规划国际学术会议(ICCEAP 2024)(2024-7-31)
2024年应用计算智能、信息学与大数据国际会议(ACIIBD 2024)(2024-7-26)
2024年机械制造、智能控制与计算机科学国际会议(MBICCS 2024)(2024-5-20)
2024年第8届通讯与未来互联网国际会议(ICCFI 2024)(2024-7-19)
2024年数据挖掘、应用技术与信息处理国际会议 (DMATIP 2024)(2024-6-20)
2024年航空、航天技术与机械工程国际会议(ICASTME 2024)(2024-6-25)
2024教育技术、社会科学与计算机应用国际会议(ETSSCA 2024)(2024-5-30)