永不停止的支出
账单随用量增长,而不是随价值增长。业务越成功账单越重,而定价权在别人手里。
Distiller Cloud 把大型开源教师模型蒸馏成小而专精的语言模型:用为你的任务生成的合成数据集训练,最终交付给你一个可以下载的文件。在 Mac、RTX 主机或自有服务器上运行,无需任何机器学习背景。
问题所在
每一次请求都离开你的基础设施,按 token 计费,并且跑在一个远大于任务所需的模型上。你在为一个自己无法掌控、无法审查、也带不走的系统反复调优提示词。
账单随用量增长,而不是随价值增长。业务越成功账单越重,而定价权在别人手里。
每一条提示词都是一次对外披露。留存条款会变,分包商会变,而合规团队一定会注意到。
用万亿参数的通用模型去给工单分类。你为永远用不上的能力付费。
工作原理
引导式界面,四个步骤。不用写 notebook,不碰 CUDA,也不必守着训练过程。
描述你的任务,选一个开源教师模型。界面会带你确认适用范围、语气和输出格式,没有需要靠猜的超参数。
我们生成合成数据集,划分训练集与验证集,并执行蒸馏。你只需看损失曲线,基础设施交给我们。
你会拿到标准格式的权重(GGUF、safetensors)以及评估报告,可在 Apple Silicon、NVIDIA RTX、DGX Spark 或自有服务器上运行。
48 小时内,你的数据集、训练任务和模型会从我们的基础设施中彻底清除。不是归档,不是匿名化,是删除。
你得到什么
模型就是一个文件。你可以下载、复制、部署,即使不再是我们的客户也照样保留。关键链路上没有 API key,没有厂商锁定,不按 token 计费。
数据和模型在 48 小时内自动销毁,不需要你提出申请。我们的服务器上什么都不会留下,因为“保存”本就不属于这个产品。
为单一任务定制的模型可以跑在你已有的硬件上,毫秒级响应无需往返网络,能耗只是调用前沿 API 的一小部分。
数据集生成、训练/验证集划分、效果评估,全部由我们处理。只要能用文字把任务讲清楚,你就能做出一个可用的模型。
从成熟的开源权重模型蒸馏。你清楚知道学生模型学自哪里,许可证也随模型一起归你。
每次任务都附带验证指标和失败样例,让你在模型接近生产环境之前,就能判断它是否足够好。
为什么是现在
Apple Silicon、RTX 显卡和 DGX Spark 让三年前毫无算力的办公桌具备了可用的推理能力。这部分成本你已经付过了。
开源权重的教师模型已经强到值得蒸馏,许可证也允许这样做。两年前的质量差距让这件事没有意义。
AI 真正的长期成本是推理而非训练。一个与任务规模匹配的模型,把按量计费变成一次性投入。
GDPR 与欧盟《人工智能法案》把数据驻留和可追溯性变成了董事会级别的议题。让模型跑在自己的边界内,是最短的答案。
零留存
口头承诺隐私、实际留着数据,这很容易做到。所以我们干脆把服务设计成“拿不到数据”:任务结束后 48 小时内,你的数据集、训练产物和模型会从我们的基础设施中移除。没有可被调取的归档,也没有可能泄露的备份,因为留存从来就不是这个产品的一部分。
你的任务描述和生成的数据集,只在任务运行期间存在。
你下载权重和评估报告。从这一刻起,模型完全属于你。
数据集、检查点和最终模型自动删除,没有需要你手动关闭的选项。
我们唯一保留的是你的邮箱地址,因为那是你主动要求我们在发布时通知你的。
抢先体验
第一批用户我们分小批开放,这样才能真正和每个团队聊上几句。现在登记就能优先进入,还包括内测期的免费蒸馏额度,以及与开发团队的直接沟通渠道。
没有倒计时,也没有假的名额计数器。产品足够好我们才开放,而你会是最早知道的人之一。
常见问题
是的。48 小时针对的是我们的服务器,而不是你已下载的文件。权重下载之后就永久属于你:即使你不再是我们的客户它照常工作,即使我们这家公司消失了它也照常工作。
在一个定义清晰的任务上,蒸馏得当的小模型能接近它的教师模型,并且胜过对你的领域一无所知的通用大模型。但在开放式通用推理上它做不到,如果蒸馏并不适合你的问题,我们会直接告诉你。
一台较新的 Apple Silicon Mac、一块 NVIDIA RTX 显卡、一台 DGX Spark,或一台配置普通的服务器,都足以运行我们所针对的模型规模。我们交付 GGUF 和 safetensors 等标准格式,主流本地推理框架开箱即用。
定价尚未最终确定,这正是我们向早期用户征询“多少钱算合理”的原因。计费按蒸馏任务而非 token:你为生成模型付费,之后的推理是免费的,因为它跑在你自己的硬件上。
任务完成后 48 小时内,你的数据集、临时训练产物和最终模型都会从我们的基础设施中删除。我们不会用客户数据训练自己的模型,也不会与第三方分享。
创建模型不需要机器学习专业知识。你需要描述任务并评估领域示例;引导式流程负责技术训练步骤,并交付标准格式的模型。
API 是租用通用模型,并按每次使用计费。Distiller Cloud 为明确任务生成更小的模型,你可以下载并在自己控制的硬件上运行,没有持续的按 token 费用。
外观