Tất cả bài viết
API AI

Streaming Claude, GPT qua API: chữ hiện dần như ChatGPT, bằng Python và Node.js

Hồ Lê Minh Tuấn··5 phút đọc

Streaming là cách nhận câu trả lời của model theo từng phần nhỏ qua Server-Sent Events thay vì chờ trả hết một lần, giúp chữ hiện dần như ChatGPT. Với MonkeyTech API, đặt stream: true trong request (base URL https://api.monkeytech.vn/v1 cho SDK OpenAI), đọc từng chunk, bỏ qua chunk không có choices, và coi request chỉ thành công khi nhận được tín hiệu kết thúc, vì HTTP 200 đầu luồng chưa chứng minh câu trả lời đã đủ.

Streaming Claude, GPT qua API: chữ hiện dần như ChatGPT, bằng Python và Node.js

Một câu trả lời dài 800 từ có thể mất 15 tới 30 giây để model sinh xong. Nếu ứng dụng chờ đủ rồi mới hiện, người dùng nhìn màn hình trống suốt thời gian đó. Streaming giải quyết việc này: chữ hiện ngay khi model sinh ra, giống khung chat ChatGPT hay Claude.

Bài viết hướng dẫn bật streaming khi gọi Claude, GPT qua MonkeyTech API bằng Python và Node.js, kèm các lỗi hay gặp khi đưa vào sản phẩm thật. Nếu chưa gọi API lần nào, đọc trước bài gọi Claude API và GPT bằng Python, Node.js.

Streaming hoạt động như thế nào?

Khi request có "stream": true, máy chủ giữ kết nối mở và gửi về nhiều sự kiện theo chuẩn Server-Sent Events (SSE). Mỗi sự kiện chứa một đoạn chữ ngắn. Ứng dụng nối các đoạn lại và hiện dần lên màn hình.

Thử nhanh bằng curl với endpoint kiểu Anthropic (cờ -N để curl không gom đệm):

curl -N https://api.monkeytech.vn/v1/messages \
  -H "x-api-key: $MONKEYTECH_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "content-type: application/json" \
  -d '{"model":"claude-sonnet-4-6","max_tokens":512,"stream":true,
       "messages":[{"role":"user","content":"Viết 3 câu giới thiệu quán cà phê"}]}'

Kết quả là chuỗi sự kiện như:

event: content_block_delta
data: {"delta":{"text":"Quán","type":"text_delta"},"index":0,"type":"content_block_delta"}

event: message_delta
data: {"delta":{"stop_reason":"end_turn"},"usage":{"output_tokens":128}}

content_block_delta mang chữ, message_delta cuối cùng cho biết lý do dừng và số token đầu ra.

Streaming bằng Python (SDK OpenAI)

Cài pip install openai, rồi:

import os
from openai import OpenAI

client = OpenAI(
    api_key=os.environ["MONKEYTECH_API_KEY"],
    base_url="https://api.monkeytech.vn/v1",
)

stream = client.chat.completions.create(
    model="claude-sonnet-4-6",
    messages=[{"role": "user", "content": "Viết 3 câu giới thiệu quán cà phê"}],
    stream=True,
)

parts = []
finish = None
for chunk in stream:
    if not chunk.choices:          # gói usage cuối luồng không có choices
        continue
    choice = chunk.choices[0]
    text = choice.delta.content or ""
    print(text, end="", flush=True)
    parts.append(text)
    if choice.finish_reason:
        finish = choice.finish_reason

answer = "".join(parts)
if finish is None:
    raise RuntimeError("Luồng kết thúc mà chưa có finish_reason, câu trả lời có thể bị cắt")

Đổi model sang gpt-5.5 hay model khác trong bảng giá là dùng được, code giữ nguyên.

Streaming bằng Node.js (SDK OpenAI)

Cài npm i openai, rồi:

import OpenAI from 'openai'

const client = new OpenAI({
  apiKey: process.env.MONKEYTECH_API_KEY,
  baseURL: 'https://api.monkeytech.vn/v1',
})

const stream = await client.chat.completions.create({
  model: 'claude-sonnet-4-6',
  messages: [{ role: 'user', content: 'Viết 3 câu giới thiệu quán cà phê' }],
  stream: true,
})

let answer = ''
let finish = null
for await (const chunk of stream) {
  const choice = chunk.choices?.[0]
  if (!choice) continue            // gói usage cuối luồng
  const text = choice.delta?.content ?? ''
  process.stdout.write(text)
  answer += text
  if (choice.finish_reason) finish = choice.finish_reason
}
if (!finish) throw new Error('Luồng đứt trước khi kết thúc')

Trong ứng dụng web, máy chủ Node nhận stream từ MonkeyTech API rồi chuyển tiếp xuống trình duyệt (SSE hoặc WebSocket). Không gọi API thẳng từ trình duyệt, vì API key sẽ lộ trong mã trang. Bài lộ API key AI nói rõ hậu quả.

Bốn lỗi hay gặp khi đưa streaming vào sản phẩm

1. Coi HTTP 200 là thành công

Tài liệu MonkeyTech API ghi rõ: HTTP 200 đầu luồng chưa chứng minh tác vụ hoàn tất. Lỗi có thể đến sau khi đã gửi một phần nội dung. Luôn kiểm finish_reason (hoặc sự kiện message_delta có stop_reason) trước khi lưu câu trả lời là đủ.

2. Không xử lý chunk không có choices

Luồng có thể có một gói usage cuối không có choices. Code truy cập chunk.choices[0] mà không kiểm sẽ lỗi ở gói cuối, đúng lúc câu trả lời đã gần xong.

3. Proxy gom đệm làm mất hiệu ứng chữ hiện dần

Nginx, Cloudflare hay framework web có thể gom đệm phản hồi, khiến chữ vẫn hiện một lần. Với Nginx, tắt proxy_buffering cho route stream; với Express, gọi res.flushHeaders() và ghi từng phần bằng res.write.

4. Thử lại sai cách khi gặp 429

HTTP 429 có thể do giới hạn tiếp nhận, hàng đợi đầy hoặc nhà cung cấp giới hạn. Đọc header Retry-After, chờ đúng thời gian đó, thử lại với khoảng chờ tăng dần có độ lệch ngẫu nhiên, và đặt trần số lần thử. Đừng thử lại ngay lập tức trong vòng lặp.

Thời gian chờ và cách đọc chi phí của một lượt stream

  • Route có thời gian tối đa 15 phút, nhưng client, proxy hoặc nhà cung cấp có thể cắt sớm hơn. Đặt timeout cho byte đầu tiên và cho khoảng im lặng giữa hai chunk, thay vì chỉ một timeout tổng.
  • Với request không stream, MonkeyTech API trả chi phí qua header như x-monkeytech-cost-vnd, x-monkeytech-input-tokens. Với stream, chi phí chỉ biết khi luồng kết thúc nên header này không có; xem chi phí trong nhật ký sử dụng ở bảng điều khiển.
  • Ghi lại header x-monkeytech-request-id để tra cứu khi cần hỗ trợ. Không gửi API key trong báo lỗi.

Câu hỏi thường gặp

Không. Số token đầu vào và đầu ra giống request thường, chỉ khác cách nhận kết quả.

Endpoint chat của API hỗ trợ stream: true. Mỗi model có giới hạn riêng của nhà cung cấp; thử một request nhỏ với model bạn định dùng trước khi đưa vào sản phẩm.

Được. Đặt base_url là https://api.monkeytech.vn cho SDK Anthropic và dùng hàm stream của SDK; sự kiện trả về theo định dạng content_block_delta, message_delta như ví dụ curl ở trên.

Coi lượt đó là chưa xong khi không có finish_reason. Hiện thông báo cho người dùng và cho phép tạo lại, thay vì lưu câu trả lời bị cắt.

Đăng ký tại api.monkeytech.vn, nạp tiền bằng VNĐ và tạo key trong bảng điều khiển. Xem thêm bài Claude API Việt Nam.

Bài viết hữu ích với bạn? Thả tim để chúng tôi viết thêm chủ đề này.

Cần tự động hóa quy trình cho doanh nghiệp?

Monkey Tech build AI Agent, bot Zalo/Telegram và luồng n8n chạy thật cho bạn.

Bài viết đề xuất cho bạn