永不停止的支出
帳單隨用量成長,而非隨價值成長。業務越成功負擔越重,而定價權在別人手上。
Distiller Cloud 將大型開源教師模型蒸餾成小而專精的語言模型:以針對你的任務生成的合成資料集訓練,最後交付一個可下載的檔案。可在 Mac、RTX 主機或自有伺服器上執行,無需任何機器學習背景。
問題所在
每一次請求都離開你的基礎架構,按 token 計費,而且跑在一個遠大於任務所需的模型上。你不斷為一個自己無法掌控、無法檢視、也帶不走的系統調整提示詞。
帳單隨用量成長,而非隨價值成長。業務越成功負擔越重,而定價權在別人手上。
每一則提示詞都是一次對外揭露。保存條款會變,委外廠商會變,而法遵團隊一定會注意到。
用兆級參數的通用模型去分類客服工單。你為永遠用不到的能力付費。
運作方式
引導式介面,四個步驟。不必寫 notebook、不必碰 CUDA,也不必盯著訓練流程。
描述你的任務,並挑選一個開源教師模型。介面會帶你確認適用範圍、語氣與輸出格式,沒有需要靠猜的超參數。
我們生成合成資料集,切分訓練集與驗證集,並執行蒸餾。你只要看損失曲線,基礎架構交給我們。
你會取得標準格式的權重(GGUF、safetensors)以及評估報告,可在 Apple Silicon、NVIDIA RTX、DGX Spark 或自有伺服器上執行。
48 小時內,你的資料集、訓練工作與模型會從我們的基礎架構中徹底清除。不是封存,不是匿名化,是刪除。
你會得到什麼
模型就是一個檔案。你可以下載、複製、部署,即使不再是我們的客戶也照樣保留。關鍵路徑上沒有 API 金鑰,沒有廠商綁定,不按 token 計費。
資料與模型在 48 小時內自動銷毀,不需要你另行申請。我們的伺服器上不會留下任何東西,因為「保存」本來就不屬於這項產品。
為單一任務量身打造的模型,可在你既有的硬體上執行,毫秒級回應且無需往返網路,耗電量只是呼叫前沿 API 的一小部分。
資料集生成、訓練/驗證集切分、成效評估,全部由我們處理。只要能用文字把任務講清楚,你就能做出一個可用的模型。
從成熟的開源權重模型蒸餾。你清楚知道學生模型的學習來源,授權條款也隨模型一起歸你。
每次工作都附上驗證指標與失敗範例,讓你在模型接近正式環境之前,就能判斷它是否夠好。
為何是現在
Apple Silicon、RTX 顯示卡與 DGX Spark,讓三年前毫無算力的桌面具備了可用的推論能力。這筆成本你已經付過了。
開源權重的教師模型已強到值得蒸餾,授權條款也允許這麼做。兩年前的品質落差讓這件事毫無意義。
AI 真正的長期成本是推論而非訓練。一個與任務規模相符的模型,能把按量計費轉為一次性投入。
GDPR 與歐盟《人工智慧法案》讓資料落地與可追溯性成為董事會層級的議題。讓模型在自己的邊界內執行,是最短的答案。
零保存
口頭承諾隱私、實際卻留著資料,這很容易做到。所以我們乾脆把服務設計成「拿不到資料」:工作結束後 48 小時內,你的資料集、訓練產物與模型都會從我們的基礎架構中移除。沒有可被調閱的封存,也沒有可能外洩的備份,因為保存從來就不是這項產品的一部分。
你的任務描述與生成的資料集,只在工作執行期間存在。
你下載權重與評估報告。從這一刻起,模型完全屬於你。
資料集、檢查點與最終模型自動刪除,沒有需要你手動關閉的選項。
我們唯一保留的是你的電子信箱,因為那是你主動要求我們在發布時通知你的。
搶先體驗
第一批使用者我們分小批開放,這樣才能真正和每個團隊談上幾句。現在登記就能優先進入,並包含測試期的免費蒸餾額度,以及與開發團隊的直接溝通管道。
沒有倒數計時,也沒有假的名額計數器。產品夠好我們才開放,而你會是最早知道的人之一。
常見問題
是的。48 小時針對的是我們的伺服器,而不是你已下載的檔案。權重下載之後就永久屬於你:即使你不再是我們的客戶它照常運作,即使我們這家公司消失了它也照常運作。
在一個定義清楚的任務上,蒸餾得當的小模型能接近它的教師模型,並且勝過對你的領域一無所知的通用大模型。但在開放式的通用推理上它做不到,若蒸餾並不適合你的問題,我們會直接告訴你。
一台較新的 Apple Silicon Mac、一張 NVIDIA RTX 顯示卡、一台 DGX Spark,或一台規格普通的伺服器,都足以執行我們所鎖定的模型規模。我們交付 GGUF 與 safetensors 等標準格式,主流本機推論框架可直接使用。
定價尚未最終確定,這正是我們向早期使用者請教「多少錢才合理」的原因。計費以蒸餾工作為單位而非 token:你為產生模型付費,之後的推論是免費的,因為它跑在你自己的硬體上。
工作完成後 48 小時內,你的資料集、暫時訓練產物和最終模型都會從我們的基礎設施中刪除。我們不會用客戶資料訓練自己的模型,也不會與第三方分享。
建立模型不需要機器學習專業知識。你需要描述任務並評估領域範例;引導式流程負責技術訓練步驟,並交付標準格式的模型。
API 是租用通用模型,並依每次使用計費。Distiller Cloud 為明確任務產生更小的模型,你可以下載並在自己控制的硬體上執行,沒有持續的按 token 費用。
外觀