虚拟建筑安全助理 - 基于融合建筑安全知识的多模态大型语言模型

创科愿望 虚拟建筑安全助理 - 基于融合建筑安全知识的多模态大型语言模型
(编号: W-0571)
已配对创科方案
试验项目
摘要及挑战
  • 这个项目将开发一个基于多模态大型语言模型的虚拟建筑安全助手,专注于「建筑工程」和「安全」的微调。该助手将利用语义推理,实时监控建筑工地,检测和记录更广泛的安全规则违规行为,超越传统计算机视觉的限制:
    1. 现有 AI 模型仅在静态场景训练,无法适应变化的工地条件;
    2. 计算资源利用效率低;
    3. 被动风险识别缺乏因果推理;
    4. 现有模型在识别明显违规时表现良好,但对模糊案例反应不足,且过度依赖繁琐的手动修正。
预期成果
  • 虚拟施工安全助手通过自动识别安全违规并及时发出警报。
  • 技术涵盖多个关键方面:
    1. 大型语言模型适配框架,基于系数变异机制和多阶段课程学习策略,针对工地安全定制损失函数;
    2. 混合边缘云计算范式,进行分阶段分析以实现成本效益的资源利用;
    3. 将链式思考提示与代理检索增强生成框架相结合,转变风险识别为根本原因推理和可行的缓解计划;
    4. 多阶段时间序列分析框架,集成反馈和修正机制,增强场景自适应泛化和上下文意识。
预计试验期限 15个月
联络资料
创科愿望提议者:渠务署
联络人:黄紫璆
职位:工程师/特别职务1/2
电话:2594 7431
电子邮件: ckwong11@dsd.gov.hk
创建日期 2025-05-27
截止日期 2025-06-10