跳到主要內容區塊
:::
字級:
小字級
中字級
大字級
:::

新加坡資訊通信媒體發展局(IMDA)和AI verify基金會推出首個生成式AI(Gen AI)評估沙盒

新加坡資訊通信媒體發展局(Info-communications Media Development Authority, IMDA)和AI verify基金會於2023年10月31日推出首個生成式AI(Generative AI, Gen AI)評估沙盒,該沙盒將透過具體的應用案例將全球AI生態系業者齊聚一堂,以評估可信的人工智慧產品,並利用新的評估目錄(Evaluation Catalogue)作為共享資源,為大型語言模型(Large Language Models, LLM)制定通用基準方法(baseline methods)和建議。

為更廣泛和安全地採用Gen AI,IMDA邀請產業夥伴在Gen AI評估沙盒中,合作建構評估工具和功能。沙盒將透過目前評估基準和方法進行分類來提供基準方法。該目錄透過以下方式提供錨點(anchor),一為彙編現有常用的技術測試工具,並根據測試內容和方法對這些測試進行整理;二為推薦用於Gen AI產品的一組基準評估測試。

除了評估測試的起始基準外,透過新加坡個人資料保護委員會(Personal Data Protection Commission, PDPC)等監理機構的參與,沙盒將為實驗和開發提供空間,並允許供應鏈上各方對其需求保持透明。

沙盒應用案例預計將揭示當前人工智慧評估領域的差距,尤其是在目前尚未開發的特定領域(例如人力資源或安全)和特定文化領域,由於文化和語言的特殊性,沙盒將制定評估特定領域模型效能的基準。

目前,已加入沙盒參與者包含主要模型開發商,例如Google、Microsoft、Anthropic、IBM、NVIDIA、Stability.AI和Amazon Web Servies(AWS);具有特定應用案例的應用程式開發人員,例如DataRobot、OCBC、Global Regulatory Inc、Singtel和X0PA.AI;第三方測試機構,例如Resaro.AI、Deloitte、EY和TÜV SÜD等。

TOP