DeepSeek宣布将开源5个代码库
- 包容万物恒河水
- 2025-02-27 06:19:38
英伟达说:DeepSeek 针对我们的 Blackwell 架构进行了优化,包括具有最先进生产精度的 FP4 性能,在 MMLU 通用智能基准测试中获得了 99.8% 的 FP8 分数。与四周前的 NVIDIA H100 相比,每 token 成本降低 20 倍,收入增加 25 倍。
假设有一家名为“老黄罪大恶极”的公司使用 DeepSeek-R1 人工智能模型帮助企业实现客户服务聊天自动化。人工智能会生成对客户问题的回复,而每个回复都是由 tokens 组成的。
以前的情况(使用 H100 GPU):“老黄罪大恶极”每秒可处理 1000 个tokens。由于 H100 GPU 需要大量能源和计算能力,运行人工智能每百万 tokens 需要花费 1000 美元。
如果“老黄罪大恶极”在一个月内处理了 1,000 万个客户聊天 tokens ,那么处理所有这些 tokens 大约需要 2.8 小时,成本为 10,000 美元。
现在的情况(使用 DeepSeek 优化后的 Blackwell B200 GPU):经过 Blackwell 优化,“老黄罪大恶极”现在每秒可处理 25,000 个 tokens(比以前快 25 倍)。由于 B200 GPU 和 FP4 格式功耗更低、效率更高,现在每百万 tokens 只需 50 美元(比以前便宜 20 倍)
同样是每月 1000 万个客户聊天 tokens ,现在只需 6.7 分钟即可完成处理。成本将降至 500 美元。
能效和可扩展性:新的 FP4 格式和 Blackwell 架构使用更少的能源和计算能力,同时保持几乎相同的准确性(在 MMLU 基准上达到 FP8 的 99.8%)
英伟达真不害臊,花点资源搞开发啊?DeepSeek 把你工程师该干的活都干了。
ai创造营DeepSeek宣布将开源5个代码库
假设有一家名为“老黄罪大恶极”的公司使用 DeepSeek-R1 人工智能模型帮助企业实现客户服务聊天自动化。人工智能会生成对客户问题的回复,而每个回复都是由 tokens 组成的。
以前的情况(使用 H100 GPU):“老黄罪大恶极”每秒可处理 1000 个tokens。由于 H100 GPU 需要大量能源和计算能力,运行人工智能每百万 tokens 需要花费 1000 美元。
如果“老黄罪大恶极”在一个月内处理了 1,000 万个客户聊天 tokens ,那么处理所有这些 tokens 大约需要 2.8 小时,成本为 10,000 美元。
现在的情况(使用 DeepSeek 优化后的 Blackwell B200 GPU):经过 Blackwell 优化,“老黄罪大恶极”现在每秒可处理 25,000 个 tokens(比以前快 25 倍)。由于 B200 GPU 和 FP4 格式功耗更低、效率更高,现在每百万 tokens 只需 50 美元(比以前便宜 20 倍)
同样是每月 1000 万个客户聊天 tokens ,现在只需 6.7 分钟即可完成处理。成本将降至 500 美元。
能效和可扩展性:新的 FP4 格式和 Blackwell 架构使用更少的能源和计算能力,同时保持几乎相同的准确性(在 MMLU 基准上达到 FP8 的 99.8%)
英伟达真不害臊,花点资源搞开发啊?DeepSeek 把你工程师该干的活都干了。
ai创造营DeepSeek宣布将开源5个代码库