近日,人工智能公司 Anthropic 正式推出了其新产品 —— 消息批量处理 API(Message Batches API)。这项新技术让企业在处理大量数据时的费用减少了50%,这一举措无疑为大数据处理带来了福音。

image

通过这项 API,企业能够在24小时内异步处理高达10,000条查询,让高端 AI 模型变得更加平易近人。

随着 AI 技术的不断发展,企业面临的挑战也在加大,尤其是在数据处理方面。Anthropic 此次推出的批处理 API 在输入和输出的令牌费用上,均比实时处理便宜50%。

image

具体定价

开发人员经常使用 Claude 来处理大量数据 — 从分析客户反馈到翻译语言 — 这些数据不需要实时响应。

据官方介绍,开发者无需管理复杂的排队系统或担心速率限制,而是可以使用 Batches API 提交最多10,000个查询的组,并让 Anthropic 以50% 的折扣处理处理。批次将在24小时内处理,但通常要快得多。其他优势包括:

增强的吞吐量:享受更高的速率限制,以处理更大的请求量,而不会影响您的标准 API 速率限制。

大数据的可扩展性:处理大规模任务,例如数据集分析、大型数据集分类或广泛的模型评估,而无需担心基础设施问题。

Batches API 为大规模数据处理开启了新的可能性,这些可能性以前不太实用或成本高昂。例如,通过利用Batches API折扣,分析整个公司文档存储库(可能涉及数百万个文件)在经济上变得更加可行。

这不仅使得中型企业能更加轻松地利用 AI 技术,也让 Anthropic 在与其他 AI 公司,特别是 OpenAI 的竞争中,增加了筹码。OpenAI 早些时候也推出了类似的批处理功能,因此此次 Anthropic 的动作显得尤为关键。

image

有趣的是,这一变化不仅是单纯的降价策略,更是一次行业定价理念的转变。通过大规模处理的折扣,Anthropic 在为 AI 计算创造经济规模的同时,也可能会推动中型企业的 AI 应用普及。想象一下,以前认为昂贵且复杂的大规模数据分析,现在变得如此简单而划算。

值得一提的是,Anthropic 的批处理 API 已经可以在其 Claude3.5Sonnet、Claude3Opus 和 Claude3Haiku 模型中使用。未来,这一功能还会在 Google Cloud 的 Vertex AI 和 Amazon Bedrock 上得到扩展。

相较于需要实时响应的应用,批处理虽然速度较慢,但在很多业务场景下,“适时” 的处理往往比 “实时” 处理更为重要。企业开始重视如何在成本和速度之间找到最佳平衡,这对于 AI 的实现将会有新的影响。

然而,尽管批处理的优势明显,它也引发了一些思考。随着企业习惯于低成本的批处理方式,是否会对实时 AI 技术的进一步发展造成影响?为了维护健康的 AI 生态系统,必须在推进批处理和实时处理能力之间找到合适的平衡点。

划重点:

✅ Anthropic 新推出的消息批处理 API 让企业处理大量数据的费用减少50%。

✅ 新 API 支持高达10,000条异步查询,提升了大数据处理的可及性。

✅ 企业在 AI 应用中开始重视 “适时” 处理,可能会对实时 AI 的发展造成挑战。