虛擬建築安全助理 - 基於融合建築安全知識的多模態大型語言模型

創科願望 虛擬建築安全助理 - 基於融合建築安全知識的多模態大型語言模型
(編號: W-0571)
已配對創科方案
試驗項目
摘要及挑戰
  • 這個項目將開發一個基於多模態大型語言模型的虛擬建築安全助手,專注於「建築工程」和「安全」的微調。該助手將利用語義推理,實時監控建築工地,檢測和記錄更廣泛的安全規則違規行為,超越傳統計算機視覺的限制:
    1. 現有 AI 模型僅在靜態場景訓練,無法適應變化的工地條件;
    2. 計算資源利用效率低;
    3. 被動風險識別缺乏因果推理;
    4. 現有模型在識別明顯違規時表現良好,但對模糊案例反應不足,且過度依賴繁瑣的手動修正。
預期成果
  • 虛擬施工安全助手通過自動識別安全違規並及時發出警報。
  • 技術涵蓋多個關鍵方面:
    1. 大型語言模型適配框架,基於係數變異機制和多階段課程學習策略,針對工地安全定製損失函數;
    2. 混合邊緣雲計算範式,進行分階段分析以實現成本效益的資源利用;
    3. 將鏈式思考提示與代理檢索增強生成框架相結合,轉變風險識別為根本原因推理和可行的緩解計劃;
    4. 多階段時間序列分析框架,集成反饋和修正機制,增強場景自適應泛化和上下文意識。
預計試驗期限 15個月
聯絡資料
創科願望提議者:渠務署
聯絡人:黃紫璆
職位:工程師/特別職務1/2
電話:2594 7431
電子郵件: ckwong11@dsd.gov.hk
創建日期 2025-05-27
截止日期 2025-06-10