在吉利公布年內將發布行業首個全棧自研的全場景AI大模型后,近日,吉利大模型領域傳出更新進展。吉利AI?DRIVE大模型在國際智能駕駛領域的著名極端場景數據集ACDC(包含雨、霧、雪、夜等復雜場景)性能驗證中,取得實時排行榜全球第一名的成績。代表了吉利AI?DRIVE大模型在極端場景的語義分割和泛化能力上處于國際領先水平。 近年來,AI大模型憑借強大的推理及泛化能力廣泛應用于社會各個領域,在自然語言處理、圖像識別、語音識別、智能駕駛、智能座艙、醫學診斷等領域取得了突破性的進展,有力推動了社會智能化的發展和進步。在智能駕駛領域,云端AI大模型在海量數據的加持下,正在改寫智能駕駛算法開發范式,能夠大幅提高算法迭代效率。傳統的智能駕駛方案受限于模型本身的泛化能力,數據閉環處理極端場景的能力較差,往往需要耗費大量時間和財力采集或者標注不同場景的樣本,嚴重影響了研發效率。
吉利基于全棧自研的AI??DRIVE大模型、元宇宙虛擬仿真器的云端多元數據閉環框架,實現了大模型和數據的相互賦能。該框架可基于元宇宙虛擬數據及量產道路回傳無標注數據實現自我迭代,配合大模型強大的推理能力,可以更好、更快地迭代應對極端場景的能力。
語義分割作為智能駕駛的主流算法之一,核心功能是將圖像中的每個像素精確地標記為不同的語義類別,從而實現對物體的像素級理解。這種精細的分割能力使得車輛能夠準確地識別和理解道路上的各種物體,為智能駕駛系統提供了重要的環境感知和決策支持。除了像素級的物體理解,語義分割還能夠提供對整個場景的全面理解。它能夠對道路、車道、交通標志、交通信號等進行準確的分割和識別。這種全景式的場景理解對于智能駕駛來說至關重要,被廣泛應用于智能駕駛領域。
依托吉利星睿智算中心的81億億次/秒的強大算力,吉利全棧自研的AI?DRIVE大模型能夠基于道路回傳無標注數據實現自我迭代,有效提升了在雨雪、霧天、夜晚等極端場景下的分割效果,并且能夠大幅減少模型迭代對于有標數據的依賴,大幅提升智能駕駛研發效率。
ACDC是 極端視覺場景(如雨、霧、雪、夜晚)的語義分割數據集,該數據集CVPR2023 workshopVision for all Seasons: Adverse Weather and Lighting Conditions 組織的一個實時數據集排行榜單,用來公開對比各高校和企業分割模型在極端天氣下性能。吉利AI DRIVE大模型在 ACDC極端場景語義分割訓練和驗證中,實時排名第一,代表吉利自研AI DRIVE模型在類似任務上已經達到國際領先水平。同時,該模型可以用于車端小模型的蒸餾訓練,進一步提升車端模型在極端天氣下的表現性能,推動智能駕駛關鍵能力“從有到好”的加速落地。