网易首页 > 网易手机 > 正文

NEC与东京工业大学联合开发多模图像融合技术

0
分享至
NEC与东京工业大学今后也将继续通过产学合作形式共同研发支撑各项社会基础设施安心安全运转的图像处理以及AI相关技术。

(原标题:NEC与东京工业大学联合开发“多模图像融合技术”,以AI技术大幅提高恶劣条件下视觉识别度)

NEC与日本国立大学法人东京工业大学工学院奥富正敏教授、田中正行特定副教授的研究团队(以下简称东京工业大学)共同开发了“多模(注1)图像融合技术”,通过AI技术将一般摄像头拍摄的可见光图像与热成像相机拍摄的非可见光图像进行自动高效合成,且提高了单个图像拍摄时的视觉识别度。

在需要瞬时视觉识别的各个领域中利用此项技术,即便在恶劣条件下也可以实现正确判断。例如,夜间或浓雾等恶劣天气条件下也可以正常进行的设施监控;即便迎面行驶汽车的刺眼的车灯及黑暗造成视觉死角也可以使用的自动驾驶支持;不仅可以监测建筑表面的裂缝,还可以监测其内部异常的基础设施点检等。

以往想要合成不同种类摄像头拍摄的图像需要专家进行复杂的手动合成作业。而此技术则将各种摄像头采集的图像通过AI技术自动高效合成,无需手工操作。并且充分利用可见光图像和非可见光图像各自的优势,即便是以往人眼难以看清的场景也可以获得较高的视觉识别度。

NEC与东京工业大学今后也将继续通过产学合作形式共同研发支撑各项社会基础设施安心安全运转的图像处理以及AI相关技术。

【背景】

近年来,在图像传感器的不断升级及成本持续下降的背景下,将热成像摄像头及可捕捉物体内部构造的X光・太赫兹波・毫米波摄像头等非可见光摄像头应用到夜间、浓雾等恶劣天气、逆光、遮蔽等不利条件下的监控及诊断的情况越来越普及。但是这些非可见光摄像头比可见光摄像头的分辨率和画质都要低,视觉识别起来很困难,因此需要将可见光摄像头与之配合在一起使用,通过对比双方的图像进行监视和诊断。因此,想要快速精准地判断对象物体的状况是比较困难的。为解决这个课题,最好的办法就是将两种图像合成一个图像,但是过去的合成办法需要精通摄像头和摄影环境的专家亲自手动调整,从各自单独的图像中抽取出适于合成的部分,一边注意防止过度曝光和曝光不足以及噪点增强破坏图像等问题,一边进行复杂的图像合成作业。另外,在非可见光中包含的用于判断异常及危险物的特征很可能因为合成造成丢失,这也是一个重要课题。

NEC与东京工业大学通过学习了专家的变换技能的AI技术,将可见光摄像头与非可见光摄像头拍摄的图像自动高效统合,提高对象物·状况的视觉识别度,共同开发了即便在恶劣环境下也可以快速判断是否存在异常或危险物的“多模图像融合技术”。

图1:本技术适用例(注2)

【新技术的优点】

AI技术自动从多个图像中选择出视觉识别度高的图像,并在强调非可见光中包含的细小特征的同时进行图像合成,从而实现打破以往局限性的高度视觉识别。

AI技术会根据热成像摄像头、太赫兹摄像头等摄像头种类、环境特征(亮度、光线方向、有无障碍物)等不同条件,对图像内各部分的视觉识别度的高低进行评价,从而从各个图像中自动抽取出最适宜的部分。

此外,AI技术在处理非可见光摄像头拍摄的图像时,会针对异常及危险物的细小特征进行解析,进行适当的强弱调整以避免因过度曝光及曝光不足而破坏图像,从而自动生成以往无法实现的高视觉识别度的多模(可见光-非可见光)融合图像。

(注1) Multimodal(多模)

多种模式、形态。本文中提到的多模是指可见光摄像头拍摄的图像和红外线摄像头等非可见光摄像头拍摄的图像。

(注2) 获得创新研发推进项目(ImPACT)Tough Robotics Challenge关于恶劣环境模拟设备的许可并使用。

相关推荐
热点推荐
菲靠山到,南海真正敌人现身,中方无退路,解放军中将突破沉默

菲靠山到,南海真正敌人现身,中方无退路,解放军中将突破沉默

日风的故事屋
2024-03-26 23:25:07
案例:年轻女孩到KTV应聘,自称很能喝酒,经理:真的不合适!

案例:年轻女孩到KTV应聘,自称很能喝酒,经理:真的不合适!

佑宛故事汇
2024-03-27 18:14:21
毛主席有个奇怪的原则,一生从不碰这三种东西,它们都是什么?

毛主席有个奇怪的原则,一生从不碰这三种东西,它们都是什么?

小啾咪侃侃史
2024-03-28 17:20:10
离婚5年,宋慧乔被前夫补刀

离婚5年,宋慧乔被前夫补刀

清唱
2024-03-28 20:24:41
德云社演员透露:郭德纲看到曹云金礼物慌了神,其他人看到也心酸

德云社演员透露:郭德纲看到曹云金礼物慌了神,其他人看到也心酸

七阿姨爱八卦
2024-03-28 22:51:10
12-1!亚洲第3爆发,下轮打平=出线,放水给国足拿1分:携手晋级

12-1!亚洲第3爆发,下轮打平=出线,放水给国足拿1分:携手晋级

小鬼头体育
2024-03-29 19:06:18
国运来了挡都挡不住?俄乌战争最起码给中国又争取了五年时间

国运来了挡都挡不住?俄乌战争最起码给中国又争取了五年时间

曾经年少
2024-03-05 11:38:53
中央高度控股的股票:附名单

中央高度控股的股票:附名单

满天抓星星
2024-03-29 14:15:33
《水浒传》的细节狂魔武松:在杀潘金莲时,为何要扯开她的胸衣?

《水浒传》的细节狂魔武松:在杀潘金莲时,为何要扯开她的胸衣?

猫眼观史
2024-03-27 17:49:48
华为宣布4月8日再开新品发布会:智界S7有望重新上市!博主:先看小米SU7定价,再重新规划定价和配置

华为宣布4月8日再开新品发布会:智界S7有望重新上市!博主:先看小米SU7定价,再重新规划定价和配置

和讯网
2024-03-28 12:24:07
经历金元,蔡振华为何全身而退?看他弃用三人秒懂,妻子评价准确

经历金元,蔡振华为何全身而退?看他弃用三人秒懂,妻子评价准确

东球弟
2024-02-01 15:47:37
突发!曝小杨哥徒弟小黄永久停播,相关剪辑师转型,三只羊回应来了

突发!曝小杨哥徒弟小黄永久停播,相关剪辑师转型,三只羊回应来了

柠檬有娱乐
2024-03-29 10:12:16
央媒苦苦追问,农民却不期待!湖北万亩良田种上光伏板:田早废了

央媒苦苦追问,农民却不期待!湖北万亩良田种上光伏板:田早废了

大风文字
2024-03-28 15:46:48
总统大选又出黑马,特朗普都可能落马,2024美国充满变数

总统大选又出黑马,特朗普都可能落马,2024美国充满变数

李大娱乐糊涂
2024-03-29 11:54:38
太离谱!胡夏被曝有孩子,工作室火速辟谣,被证实是经纪人的子女

太离谱!胡夏被曝有孩子,工作室火速辟谣,被证实是经纪人的子女

萌神木木
2024-03-28 13:08:05
世体:耐克目前每年给到巴萨6600万欧,而彪马报价每年保底1亿欧

世体:耐克目前每年给到巴萨6600万欧,而彪马报价每年保底1亿欧

直播吧
2024-03-29 15:52:30
广州首套房贷降至3.45%?还是你们会玩儿啊……

广州首套房贷降至3.45%?还是你们会玩儿啊……

广州PLUS
2024-03-29 18:48:53
“打麻将”前一定不能做这几种事,犯着必输无疑

“打麻将”前一定不能做这几种事,犯着必输无疑

鹏飞展翅
2024-03-25 17:22:54
岁月催人老!48岁林心如和50岁王艳的生图,治好了我的容貌焦虑!

岁月催人老!48岁林心如和50岁王艳的生图,治好了我的容貌焦虑!

小咪侃娱圈
2024-03-28 15:32:40
他,赢得总统大选

他,赢得总统大选

半岛晨报
2024-03-28 22:59:04
2024-03-29 21:00:49

头条要闻

甘肃13岁男孩杀害8岁女童 最高检同意追诉其刑事责任

头条要闻

甘肃13岁男孩杀害8岁女童 最高检同意追诉其刑事责任

体育要闻

拒绝为国出战,他是足坛"天选打工人"

娱乐要闻

胡夏被曝有孩子!工作室火速辟谣

财经要闻

张维迎:如何正确理解企业家精神?

科技要闻

雷军:我们是卷王,建议BBA车主感受下时代

汽车要闻

找回久违的开怀大笑 试驾小米SU7 Max

态度原创

时尚
本地
艺术
健康
军事航空

孙艺珍生完孩子,玄彬老了十岁

本地新闻

专访|张伟潮:最年轻的龙头专职制造者

艺术要闻

专访|“提香·花神”策展人:用经典再现威尼斯画派

早防早筛,远离肝硬化

军事要闻

乌方声称击落两枚俄"锆石"高超音速导弹 俄方未予回应

无障碍浏览 进入关怀版
×