复旦大学团队研发AI大模型助视障者“看见”世界 只需一枚摄像头和一对耳机，画面能够被转...
复旦大学团队研发AI大模型 助视障者“看见”世界
只需一枚摄像头和一对耳机，画面能够被转化成语言，描绘场景、提示风险，让视障者出行更安全、生活更便捷……记者2日获悉，在复旦大学自然语言处理实验室(FudanNLP)师生的努力下，基于多模态大模型“复旦·眸思”(MouSi)为视障者量身打造的“听见世界”APP上线，将成为视障人士的生活助手与智能管家。
基于“眸思”，“听见世界”APP为视障者日常生活需求量身打造街道行走模式、自由问答模式和寻物模式。在街道行走模式中，“眸思”如一位忠实的向导。红绿灯、十字路口、障碍物……它能细致扫描道路情况，提示潜在风险，陪伴视障者安全通行“看不见”的漫漫长路。
在自由问答模式中，“眸思”则像一位贴心的朋友，走进博物馆、艺术馆、公园……捕捉四周景象的每个细节，用声音构建丰富的生活场景，传递每一处日常之美。在寻物模式中，“眸思”将成为一名可靠的管家，被移动过的手杖、最爱口味的牛奶……它可以让视障人士找寻日常物件变得轻松。
复旦大学自然语言处理实验室张奇教授说:“人工智能发展日新月异，科技应该要改变更多人的生活，希望‘眸思’能够帮助视障人士走出家门，让他们可以尝试更多工作，为人生书写更多可能。”据介绍，该项目的主导者都是“初出茅庐”的学生们，在组内头脑风暴会上，年轻学子总能提出开创性想法，能够找到另辟蹊径的解决办法。
自去年9月以来，复旦大学自然语言处理实验室围绕GPT4-v复现多模态大模型，对核心关键点开展研究，希望提升单项任务的准确率和强化大模型的学习。为了更好地感受视障者的难处，团队成员模拟真实情境，蒙眼探索视障者“黑暗”世界。他们邀请视障人士加入，进一步摸清真实而具体的需求。
据了解，团队计划与NGO组织、智算中心和硬件厂商等开展合作，致力于让视障者免费使用产品和相关服务。预计今年3月“听见世界”APP将完成第一轮测试，在中国一、二线城市和地区同步开启试点，根据算力部署情况进行推广。
声明：以上内容为本网站转自其它媒体，相关信息仅为传递更多企业信息之目的，不代表本网观点，亦不代表本网站赞同其观点或证实其内容的真实性。投资有风险，需谨慎。
菲亚特退出微型车市场，将对产品线进行改革 盖世汽车讯据外国媒体报道，菲亚特将放弃微型车细分市场，该公司将更新其产品线，推出尺寸更大的汽车，而且这些车辆将搭载纯电动驱动系统。 菲亚特...
近日，泰州市姜堰区罗塘街道新联会联合汤河社区新时代文明实践站组织开展了一场别开生面的“龙腾闹元宵幸福满汤河”元宵节活动，旨在传承中华民族优秀传统文化，让青少年和志愿者共同感受节日的喜庆...
2月20日，2023年度全国十大考古新发现初评结果揭晓。根据投票结果，甘肃礼县四角坪遗址入围终评。 陇原大地是秦人诞生、崛起之地。为了寻找早期秦人的足迹，自2004年开始，在国家...
降雪过后，粮油、蔬菜等生活必需品供应怎么样？针对这一备受关注的话题，今天上午，记者赴新发地、各大商超采访。记者了解到，雪后各类生活必需品种类齐全，销售秩序井然。 新发地市场蔬菜进场量...
2月4日，比亚迪发布元UP内饰官图，新车将于3月正式上市。此前该车已在工信部完成申报，未来将推出3款单电机版本，定位介乎于元Pro和元PLUS之间，定价或在十万元上下。 从前排来看，...
