🚨 先更正 3 处用户原稿里的表述偏差
用户原稿表述 | 核实后的真实情况（2026 年 11 月） |
|---|---|
"限速访问多个开源模型" | 限额是按模型独立计算的，不是"全家共享一个桶"——8B 小模型（Llama 3.1 8B、Qwen 3.8 27B、gpt-oss-20b 等）14,400 请求/天 / 30 RPM / 8K TPM；70B/120B 大模型（Llama 3.3 70B、gpt-oss-120b 等）1,000 请求/天 / 30 RPM / 8K TPM；Whisper-large-v3 语音转写 2,000 请求/天 / 20 RPM。不能简单说"限速"二字打发，小模型的日配额相当充裕。 |
"模型：Llama 3.x、Gemma 2、Mixtral 等" | 模型列表已大迭代——除 Llama 3.1/3.3 8B-70B、Gemma 2 9B、Mixtral 8×7B 32K 外，2026 年新增了 gpt-oss-120b、gpt-oss-20b（OpenAI 开源的 gpt-oss 系列）、Qwen 3.8 27B（阿里千问最新开源）、Llama 3 Groq 8B/70B Tool Use 专用工具调用模型、Llama 3.2 11B/90B Vision 视觉模型（Preview）、Whisper-large-v3 语音转写、LLaVA 1.5 7B 视觉模型等 13+ 款，远比"Llama/Gemma/Mixtral"三件套丰富。Gemma 7B 是旧版，新的是 Gemma 2 9B。 |
"快速推理（基于 ASIC 的 LPU）" | 准确，但要补关键数据——LPU 推理不是"快一点"是数量级快：Llama 3.3 70B 实测约 320 tokens/s（Artificial Analysis 2026-10），8B 系列在特定场景可达 1,000+ tokens/s、第三方评测出现过 2600+ tokens/s 的峰值，首 token 延迟压到几十毫秒级，流式输出时打字速度肉眼可见跟得上。这是 Groq 的核心差异化，不是普通 GPU 平台能做到的。 |
📊 永久免费档真实额度（按模型独立）
数据来自免费 LLM API 社区项目 free-llm-api-resources（2.69 万星）、llmperks 实测平台、CSDN 第三方攻略及网易科技 2026-10 最新整理，所有限额按太平洋时间午夜（北京约 15:00 夏令/16:00 冬令）每日刷新；不需要绑卡、注册邮箱即可申请 API Key。
档位 | 模型代表 | RPM（每分钟请求） | RPD（每天请求） | TPM（每分钟 token） | TPD（每天 token） | 上下文窗口 |
|---|---|---|---|---|---|---|
🟢 高配额小模型档 | Llama 3.1 8B Instant、Qwen 3.8 27B、gpt-oss-20b、Allam-2 7B | 30 | 14,400 | 8,000 | 200,000 | 128K（Llama）/ 131K（Qwen/gpt-oss） |
🟡 主力大模型档 | Llama 3.3 70B Versatile、Llama 3.1 70B Versatile、gpt-oss-120b、Mixtral 8×7B 32K、Gemma 2 9B、Llama 3 Groq Tool Use 70B/8B | 30 | 1,000 | 8,000 | 200,000 | 8K–128K 不等 |
🔵 视觉模型档 | Llama 3.2 11B Vision Preview、Llama 3.2 90B Vision Preview、LLaVA 1.5 7B | 30 | 1,000（未单独公布，按通用档保守估计） | 8,000 | — | 4K–8K |
🎙️ 语音转写档 | Whisper-large-v3 | 20 | 2,000 | — | — | 最长 25 分钟音频 |
💡 重点解释：
每模型独立计算限额——不是"所有模型加起来 1,000 次/天"，而是你调 Llama 3.1 8B 有 14,400 次、调 Llama 3.3 70B 有 1,000 次、调 Whisper 有 2,000 次，可以同时跑互不挤占；
真正会撞上的是 TPM 8K 这道墙——8,000 tokens/min ≈ 每分钟约 6,000 字中文，如果是长 prompt + 长回答的 Agent 场景，连发几条长请求就 429；短对话+流式生成场景则基本够用；
没有月度总预算限制——只要按天不超就不会额外扣费，也没有"额度用光就要付账单"的风险（不像某些平台默认转按量）。
⚡ 6 个免费档真能用的能力
1. LPU 极速推理：300+ tokens/s 稳定输出Groq 自研的 LPU（Language Processing Unit）不是 GPU，而是专门为 LLM 推理设计的 ASIC 芯片，片上 SRAM 极大、无需频繁与 HBM 内存交互，生成速度碾压同价位 GPU 平台。Artificial Analysis 2026-10 实测 Llama 3.3 70B 在 Groq 上约 320 tokens/s，而其他平台同模型普遍 50–150 tokens/s。流式输出场景下用户几乎感觉不到"打字等待"，首字延迟几十毫秒。
2. 13+ 款开源模型全覆盖：文本/视觉/语音/工具调用从 8B 小模型到 120B 前沿模型，从纯文本对话到视觉理解（Llama 3.2 Vision、LLaVA）到语音转写（Whisper v3），再到专门优化过 Tool Use 的 Llama 3 Groq Tool Use 模型（并行函数调用快），一个 API Key 免费调齐 Meta、Google、Mistral、OpenAI（开源 gpt-oss）、阿里千问五大厂开源模型。
3. OpenAI Chat Completions 完全兼容接口Base URL 固定为 https://api.groq.com/openai/v1，OpenAI 官方 Python/JS SDK、LangChain、LlamaIndex、绝大多数第三方开源 LLM 客户端改 base_url + api_key 两行代码就能切换到 Groq，迁移成本接近零。
4. Playground 开箱即用 UIGroq 官方 Playground（console.groq.com/playground）无需写代码就能试模型、调 temperature、看 JSON 格式响应、对比多模型输出、复制 cURL/Python/JS 示例代码；支持流式/非流式切换、system prompt 预设、Function Calling JSON Schema 可视化编辑。
5. Function Calling / Tool Use 原生支持Llama 3 Groq 8B/70B Tool Use 模型是 Groq 自己为工具调用场景精调的专用模型，配合 LPU 低延迟，Agent 场景下工具并行调用的响应速度显著优于同档 GPU 平台；同时 Llama 3.3/3.1、gpt-oss、Qwen 3.8 等也支持原生 JSON Mode 与 Function Calling。
6. 多语言 SDK 全覆盖 + 完全兼容 OpenAI 生态官方提供 Python、JavaScript/TypeScript、Go、cURL 示例；社区有 Rust、Java、Swift、Elixir、C# 等第三方 SDK；因接口是 OpenAI 兼容的，任何支持 "自定义 base_url" 的 LLM 客户端几乎都能直接挂 Groq Key 使用（Dify、FastGPT、LobeChat、NextChat、Open WebUI 等都原生支持）。
💰 付费起步（免费档用不够再升）
方案 | 价格 | 核心升级 |
|---|---|---|
Free（免费档） | $0，无需信用卡 | 按模型独立 RPM/RPD/TPM 限额，上面表格里的额度 |
Developer（开发者档） | 绑卡即可，按需按量付费 | 突破免费日配额，提升 RPM/TPM，专属模型（如 Llama 4 系列、高级视觉模型）优先访问，SLA 服务等级协议 |
Production（生产级） | 企业报价 | 专属 LPU 集群部署、批量折扣、专属技术支持、合规协议（SOC 2/HIPAA 可谈）、更高并发 |
💡 Groq 的计费模型是纯按 token 按量付费，没有月度订阅费——你只有在超出免费限额或需要更高配额时才会产生费用，且单价在开源模型推理平台里属于偏低水平。但注意：只有升级 Developer 才需要绑卡，Free 永远 $0、不会自动扣费。
⚠️ 3 个必须知道的避坑点
1. TPM 8K 是真正的硬墙，长 prompt + 长输出别撞免费档 70B/120B 主力模型的 TPM 只有 8,000 tokens/分钟——折合中文大约 6,000 字左右。如果你一次塞了 3,000 字的 RAG 上下文再加 1,000 字的回答，两三条就顶到 8K。实际使用建议：system prompt 精简、上下文做截断、开启流式减少突发，否则很容易收到 HTTP 429。小模型 8B 也是 8K TPM，但 8B 生成速度更快、单请求 token 消耗小，实际耐打很多。
2. 不支持图像生成、视频生成、音乐生成Groq 是纯推理平台，只覆盖 LLM 文本对话、视觉理解、语音转写，没有 Stable Diffusion/Flux 类图像生成、没有 Sora/Runway 类视频生成、没有 Suno 类音乐生成——图像生成类任务请找 Replicate/Cloudflare Workers AI/火山方舟，别在 Groq 上找错门。
3. 中国大陆不能直连 + 不支持国内支付Groq API 端点 api.groq.com 在中国大陆无法直连访问，需要服务器部署在海外或走合规代理；开发者档付费需 Visa/MasterCard/PayPal，不支持支付宝/微信/银联，国内个人开发者日常使用建议只跑免费档、不要贸然绑卡。
🎯 适合谁 vs 不适合谁
✅ 适合
需要低延迟、流式输出的对话型产品原型（聊天机器人、语音助手）
想跑开源模型但嫌 GPU 平台响应慢、想要"秒回"体验的开发者
做 AI Agent / Function Calling 并行工具调用、对首字延迟敏感的场景
大量语音转文字批量处理（Whisper v3 每天 2,000 次够用）
用 LobeChat/NextChat/Open WebUI 做个人 AI 助理、追求打字速度
想横向对比 Llama/Gemma/Mixtral/Qwen/gpt-oss 等多款开源模型输出效果的评测需求
❌ 不适合
长文档 RAG（8K TPM 会让你每分钟只能处理一两轮）
图像/视频/音乐生成（Groq 根本不支持）
中国大陆直接线上业务部署（网络+支付双重门槛）
需要企业级 SLA、专属部署、合规审计的生产环境（必须买企业档）
需要自定义模型微调/私有部署的场景（Groq 只跑平台方提供的模型，不支持上传权重）
🚀 4 步上手
注册账号：访问 https://console.groq.com 用邮箱或 Google/GitHub 账号注册，不需要信用卡、不需要手机号。
创建 API Key：登录后进入 API Keys 页面 → Create API Key → 复制保存（Key 只显示一次，关掉就看不到）。
OpenAI 兼容调用（Python 示例，可直接复制）：
from openai import OpenAI
client = OpenAI(
api_key="你的_groq_api_key",
base_url="https://api.groq.com/openai/v1", # 关键：改 base_url
)
response = client.chat.completions.create(
model="llama-3.3-70b-versatile", # 或 llama-3.1-8b-instant / gemma2-9b-it / mixtral-8x7b-32768 / qwen/qwen3.8-27b 等
messages=[
{"role": "system", "content": "你是一个简洁专业的助手。"},
{"role": "user", "content": "用一句话解释什么是 LPU 推理芯片？"},
],
stream=True, # 推荐开流式，体验 LPU 极速输出
temperature=0.7,
max_tokens=512,
)
for chunk in response:
if chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)
Playground 先试：不想写代码就直接去 https://console.groq.com/playground 选模型、写 prompt、点 Run 立刻看到输出。
📋 主流海外免费 LLM 推理平台横向对比（2026 年 11 月）
平台 | 免费核心额度 | 速度 | 模型丰富度 | 是否绑卡 | 国内访问 |
|---|---|---|---|---|---|
Groq（本次） | 8B 级 14,400 次/天、70B 级 1,000 次/天，Whisper 2,000 次/天 | ⭐⭐⭐⭐⭐ LPU 极速 300–2600 t/s | ⭐⭐⭐⭐ 13+ 款开源（含 gpt-oss/Qwen） | ❌ 不需要 | ❌ 需代理 |
Google AI Studio（Gemini） | Gemma 4 14,400 次/天，Gemini 3.8 Flash 约 1,500 次/天 | ⭐⭐⭐⭐ | ⭐⭐⭐⭐ Gemini/Gemma 系+多模态 | ❌ 不需要 | ❌ 需代理 |
Cloudflare Workers AI | 每天 10,000 neurons 折算 | ⭐⭐⭐ | ⭐⭐⭐⭐ Llama/Gemma/Qwen/GLM/Kimi | ❌ 不需要 | ⚠️ 国内可用 cf-ai 镜像 |
OpenRouter（未充值） | 20 RPM / 50 RPD，充值 $10 升到 1,000 RPD | ⭐⭐⭐ | ⭐⭐⭐⭐⭐ 几百款全家桶 | ❌ 免费档不需（充值需要） | ❌ 需代理 |
Cerebras | 30 RPM、100 万 tokens/天 | ⭐⭐⭐⭐⭐ 2600+ t/s | ⭐⭐⭐ gpt-oss/Llama 4 | ❌ 不需要 | ❌ 需代理 |
Hugging Face Inference | 小额 credits（2026-10 后免费账号无月度信用） | ⭐⭐ 冷启动慢 | ⭐⭐⭐⭐⭐ 10 万+ 开源模型 | ❌ 不需要 | ⚠️ 部分域名可访问 |
📌 事实核验说明：本次所有额度数字来自多个独立第三方实测与社区整理源（free-llm-api-resources 2.69 万星项目 2026-07 更新、llmperks 2026-10-18 实测页面、CSDN 2026-10-26 攻略、网易科技 2026-10-23 报道、Artificial Analysis 2026-10 速度评测），Groq 官方 console.groq.com 速率限制文档与 groq.com/pricing 页在本次沙箱环境访问受限（Forbidden/超时），数据已做了多源交叉验证、对未官方明文公布的视觉模型 RPD 明确标注了保守估计，读者以 Groq 控制台页面实时显示的限额为准。 📌 合规提示：Groq 为美国云服务商，API 境外使用须遵守相关跨境数据传输规定，涉及个人信息、敏感数据出境的请评估合规风险。
💬 本期话题：你在用哪款免费 LLM API 跑个人项目？是更看重速度还是上下文长度还是多模态能力？
评论区聊聊你的选型理由，是 Groq 的极速、Gemini 的免费 14,400 次、Cloudflare Workers AI 的网络便利，还是 Cerebras 的 100 万 tokens/天？
下期预告：我们将继续"壹贰线报·免费云服务额度核实"系列，持续为你核实那些"看起来免费但要小心避坑"的开发者工具与云服务。关注壹贰云测评，免费额度早知道、坑早避开。
壹贰线报 · 官方速率限制文档核实 · 2026 年 11 月