產品介紹

隨著chatGPT的風靡全球，以大模型技術為核心的生成式AI領域獲得廣泛的關注和應用。

南京云創大數據科技股份有限公司自主研發的cGPT大模型訓練推理一體機，是一款統一的大模型訓練和推理平臺，可以實現對大模型的全生命周期管理，包括數據集的管理，模型的訓練、評估和推理，平臺性能的監控和管理等。cGPT大模型訓練推理一體機支持海量數據私有化、本地化訓練部署和推理、全面支持國產化，能更好地適應中國的語言環境和文化背景，滿足中國用戶的需求。在保證用戶數據隱私的前提下，cGPT可廣泛應用于智能寫作、智能問答、自然語言生成、機器翻譯等多個領域。

產品特性

高算力配置

國產化適配

cGPT大模型訓練推理一體機內置最高8塊通用型GPU計算卡，顯存最高可達640GB，單卡FP32精度算力可達37TFLOPS，FP16/BF16精度算力為147TFLOPS，INT8精度算力為295TOPS，支持INT32與INT16計算、支持多精度數據類型標準/混合訓練。

cGPT大模型訓練推理一體機除支持主流NVIDIA計算卡以外，根據用戶生產環境需要，還可支持全國產化方案，采用國產服務器準系統、CPU、GPU與操作系統，適用于有特殊安全需求的客戶。主流大模型相關配套框架均作適配，移植便捷，用戶訓練無需進行大量修改。

私有化部署

一站式方案

cGPT大模型訓練推理一體機可支持數據私有化，服務本地化部署，無需連接公共互聯網即可提供服務，杜絕用戶數據泄漏風險。通過本地文件服務器對本地模型進行管理和版本控制，實現模型部署本地化。通過本地大數據平臺對用戶業務數據進行采集、處理、分析、構建，實現用戶業務數據私有化。利用全面的訪問控制系統，對需要進行外網訪問的數據信息進行脫敏過濾，在確保用戶數據安全性的前提下，保障本地服務功能的完整性。

cGPT大模型訓練推理一體機構建了一站式部署、定制擴展方案，使得用戶無需掌握專業的人工智能知識，即可輕松擁有大模型提供的各種能力。通過一套完整的、用戶友好的可視化平臺，可簡單實現大模型的訓練、部署和服務提供；提供豐富的場景功能，用戶可根據專業需求，利用提示模板技術實現專業定制的大模型應用，例如智能專業寫作、智能行業查詢等。

技術規格

應用領域

面向內網使用

cGPT大模型訓練推理一體機可以消化內部資料，為公檢法等涉密的系統單位提供資料查詢、數據比對、文檔撰寫等多元服務，在保障信息安全的前提下，為用戶單位的決策效率提供強力支持，扮演單位內部員工、領導的“個人個性化數字助手”。

面向特定領域

cGPT大模型訓練推理一體機在教育、法律、銀行等特定領域有著廣泛的應用場景。尤其善于消化前沿的信息與科技成果，提供與之匹配的新信息。分析數據、編寫代碼、編寫文案、回答疑問，提供信息服務，滿足信息咨詢，以此助力高效工作，為特定領域帶來更準確和個性化的服務。