- 研究方法探究:如何选择合适的研究 73
- 知网怎么去看是不是核心期刊 46
- 关于商号和商标的详细内容和参考文 53
- 中学生常看的杂志类型有哪些? 44
- 如何找学术会议论文?分享超实用的 59
- 中科院的分区大类与小类不一致时的 56
- 国外ei论文评职称时要提供哪些相 71
- 发表数理逻辑与数学基础相关论文的 44
- 毕业论文的写作思路步骤 117
- 关于病理学论文研究方向及写作建议 46
- 关于写SCI综述步骤和规划的建议 48
- 探讨《医疗卫生装备》期刊内容 36
- 地理著作真的需要自费出版吗? 47
- 介绍数字经济论文摘要的写作方法 47
- 关于煤质技术论文格式 58
- International As 7360
- 昆明医科大学 17391
- 华中科技大学分析测试中心 17561
- 广州医科大学 7404
- SG 7389
- 西安科技大学 22378
- IETP 22384
- BIT Congress Inc 23383
- 内蒙古工业大学 23398
- cnct2016 22369
- 中国科学院大学 1403
- HKSME 23381
- 南京世通展览服务有限公司 1391
- 武汉丰易学文化传播有限公司 7364
- 陕西省西北大学 22397
- 菲蓓尔快乐艺术教育中心 1390
- hksme 22371
- 上海杉达学院 7386
- 北京金华科技有限公司 17378
- 大连中联旅行社 17405
清华大学医学院廖洪恩课题组在人工智能视觉三维重建方面取得重要进展
2024/04/28
我们生活在一个三维的世界中,三维信息对于我们的感知和理解这个世界至关重要。从二维显示中获得深度信息可以更好地实现人机交互;获取和处理实时三维路况信息是自动驾驶技术的关键;医生在手术场景中获取三维信息可以更精确地识别和处理病灶位置……获取、恢复和重建三维信息,是计算机视觉领域的核心研究内容,在工业、娱乐、教育、医疗等领域有着广泛应用前景。
两视图几何是三维重建的基础。在两幅相关图片中找到对应于同一三维点的二维特征点,即建立匹配关系,可以计算出位姿变换和三维点坐标,这是许多三维重建任务的基础步骤,比如运动恢复结构(structure from motion, SFM),同时定位与地图构建(simultaneous localization and mapping,SLAM)等。一般通过对提取到的特征点建立描述符,然后根据最近邻关系进行初步匹配。这样得到的匹配关系存在大量的误匹配(可能高达95%),因此需要识别并剔除错误匹配(outlier rejection)。传统的方法是基于随机一致性采样(RANSAC),但是在视角变换大、亮度变换剧烈、存在遮挡等情况中无法取得满意效果。因此,如何更好地识别和剔除误匹配成为了三维重建中的瓶颈任务。
近日,清华大学医学院生物医学工程系廖洪恩教授课题组的学术论文“OANet:基于层次结构的图神经网络来学习两视图几何匹配关系建立”(OANet: Learning Two-View Correspondences and Geometry Using Order-Aware Network)被国际电气电子工程师学会-模式分析与机器智能汇刊(IEEE Transactions on Pattern Analysis and Machine Intelligence, IEEE TPAMI)出版,刊登在2022年第44期第6卷。该研究通过设计一个新的图神经网络结构,对两视图的初步匹配关系进行误匹配识别和剔除,取得了很好的结果,极大提升了三维重建任务的效果。IEEE TPAMI是人工智能领域公认的知名期刊之一,也是中国计算机学会认定的人工智能领域A类期刊之一。
图1. 本研究提出的OA-Net网络结构
廖洪恩课题组提出了一种新的神经网络结构OANet(Order-Aware Network,图1)实现了对误匹配的高效识别和剔除。该网络以初始建立的匹配点对为输入,输出每对点对是正确匹配的概率。由于输入点对没有顺序关系,无法应用卷积神经网络,本研究从图卷积中的池化操作得到启发,以多层神经网络为基本结构,设计了差异化池化层(Differentiable Pooling layer)模块(图2左),通过训练得到一个分配矩阵(assignment matrix),将该矩阵和输入点对矩阵相乘,实现对输入点对的聚类(cluster)。文中证明,这样得到的聚类是输入不变的(permutation-equivariant),即无论输入点对是以什么顺序进入网络,得到的聚类顺序是不变的,这样通过网络学习到了输入点对的内在结构。为了使得网络能对每个输入点对都进行分类,又设计了差异化反池化层(Differentiable Unpooling Layer)模块(图2右),通过学习到一个反池化分配矩阵(unpooling assignment matrix),将聚类反投影成为与输入点对一一对应的输出结构。利用新的池化和反池化操作,可以构建层次化的图神经网络,从而极大地提升了基于多层神经网络的图神经网络的表达能力,并保持了O(N)的复杂度。网络最终为每个输入点对都被分配了一个概率,表示是否为正确匹配,以这个概率加权的八点法得到的两视图基本矩阵作为损失函数对网络进行训练。在应用阶段,剔除掉低概率的点对,就能实现对匹配的识别和过滤。
图2. 左:差异化池化层(Differentiable Pooling layer)模块;右:差异化反池化层(Differentiable Unpooling Layer)模块
本研究使用该网络结构在多个任务中进行了实验,包括室内室外数据集上的位姿估计任务、运动恢复结构任务、视觉定位任务,都极大提升了重建精度,并超越了同时期其他算(图3)法。相关的研究方法曾在IEEE国际计算机视觉与模式识别会议(CVPR 2019)图像匹配比赛中取得了第一名,并在视觉定位任务中也取得了最优(state-of-the-art)。本研究提出的网络结构通用性好,对特征点提取等步骤没有限制。匹配点对的内在结构和是否是正确匹配由网络训练得到,无需人工定义,可以非常方便地在特定任务中“即插即用”(Plug-and-Play)。本研究还对网络的泛化性进行了实验,结果表明提出的网络泛化性好,有迁移到其他非自然图像场景的应用潜力。
图3. 在室内室外位姿估计任务中和其他方法对比,最下一行是本研究提出的方法
清华大学医学院教授廖洪恩是该研究的通讯作者,2020届博士毕业生张家辉为该研究的第一作者。该研究得到国家自然科学基金项目国家重大科研仪器研制项目、国家重点研发计划重点专项、北京市自然科学基金等项目支持。
廖洪恩课题组长期致力于三维医学影像和微创精准诊疗的研究,依据临床手术过程中的实时信息指引,以实施精密治疗从而提高治愈率和患者的生存质量(Quality of Life)为目的,致力于创建和推广一种以增强现实医学影像显示技术和智能微创器械为诊断和治疗平台的精准微创诊疗一体化模式。课题组先后提出了基于术前术中多模态信息融合分析实时诊疗引导、智能型微创手术机器人辅助精准诊疗等理论与系统,为针对复杂外科疾病的跨尺度多模态成像引导智能化诊疗理论的建立奠定了坚实的基础,相关研究被国际知名学术期刊《医学影像分析》(Medical Image Analysis)、《IEEE医学影像汇刊》(IEEE Transaction on Medical Imaging)、《柔性机器人技术》(Soft Robotics)、《诊疗》(Theranostics)等报道。
文章来源清华大学新闻,分享只为学术交流,如涉及侵权问题请联系我们,我们将及时修改或删除。
北京大学生命科学学院伊成器和合作者报道m1A修饰酶在调控造血干细胞衰老过程中的新机制
2024年度赴英参加“传染病的生态学与演进(EEID)”国际学术研讨会项目指南
清华大学 材料学院团队在陶瓷位错理论以及力学性能领域取得进展
清华大学物理系江万军课题组在斯格明子操控和拓扑物理方面取得新进展
清华大学 材料学院与清华长庚医工交叉合作为生物材料联合干细胞促进脊髓再生提供新思路
北京大学物理学院张霖课题组研究揭示缓解欧洲地区PM2.5污染最优的活性氮排放控制路径
第四届计算机图形学、图像与虚拟化研究国际会议(ICCGIV 2024)(2024-05-17)
第九届机电控制技术与交通运输国际学术会议(ICECTT 2024)(2024-05-24)
2024年教育政策与实践研讨会(ICEPP 2024)(2024-05-24)
第三届机电一体化与机械工程国际会议(ICMME2024)(2024-05-24)
2024年电子器件、传感控制技术与光学机械工程国际学术会议(EDSCTOE 2024)(2024-05-25)
第十四届地质和地球物理学国际会议(ICGG 2024)(2024-05-31)
2024年食品工程与农业科学国际会议(ICFEAS 2024)(2024-06-02)
2024年第三届网络、通信与信息技术国际会议(CNCIT 2024)(2024-06-07)
第十届机械工程、材料和自动化技术国际会议(MMEAT 2024)(2024-06-21)
2024年先进机器人,自动化工程与机器学习国际会议(ARAEML 2024)(2024-06-28)
2024激光、光电科学与材料国际学术会议(ICLOSM 2024)(2024-6-26)
2024土木建筑与土木工程研究国际会议(ICCACER 2024)(2024-6-20)
2024年物联网、云计算与计算机工程国际会议(ITCCCE 2024)(2024-5-18)
2024年计算建模、仿真模拟与信息科学工程国际会议(CMSISE 2024)(2024-5-18)
2024先进材料、仿真设计与机械智能控制国际会议(ICAMSDI 2024)(2024-6-18)
2024年大数据分析与数学统计学国际会议(BDAMS 2024)(2024-5-31)
2024年旅游管理、环境可持续发展与产业经济国际会议(TMESIE 2024)(2024-6-23)
2024年第十届控制科学与系统工程国际会议(ICCSSE 2024)(2024-10-18)
2024年知识经济与智慧金融国际学术会议(ICKESF 2024)(2024-6-30)
2024年心理学,科学教育与管理学国际会议(ICPSEM 2024)(2024-5-25)