Limitler ve kotalar

Siper'de limitler ve kotalar: dönemsel token bütçesi, dakika başına istek (RPM), 429 yanıtının anlamı ve Retry-After ile doğru yeniden deneme.

Normal kullanımda bir limite takılmazsınız; limitler bilerek cömert tutulur. Hesabınıza uygulanan iki mekanizma vardır: dönemsel token bütçesi ve anahtar bazında dakika başına istek limiti. Amaç kullanımı kısıtlamak değil; hizmetin herkes için öngörülebilir kalması.

Token bütçesi

Tüm istekleriniz, dönem için tanımlanan tek bir token bütçesinden düşülür. Kullanılmayan token dönem sonunda yanmaz; bütçe devreder ve birikir.

Bütçe dolunca hizmet kesilmez. Bütçenin %80’ine geldiğinizde ve bütçe dolduğunda panelde birer uyarı belirir; istekleriniz işlenmeye devam eder. Kalan token, kullanım oranı ve eşikler paneldeki Token Bütçesi kartında canlı görünür; kartın yeri için Panel.

Dakika başına istek (RPM)

Her sanal anahtar için dakika başına istek (requests per minute, RPM) limiti isteğe bağlı olarak tanımlanabilir. Varsayılan sınırsızdır; limit yalnız açıkça ayarlandığında uygulanır ve kısa süreli ani yükte hizmeti korur. Anahtarınıza uygulanan değer paneldeki anahtar listesinde yazar; değer yoksa anahtar sınırsızdır.

429 yanıtı ve Retry-After

RPM limitine ulaşırsanız Gateway, OpenAI ile uyumlu bir 429 yanıtı döndürür:

HTTP/1.1 429 Too Many Requests
Retry-After: 2
Content-Type: application/json

{
  "error": {
    "type": "rate_limit_exceeded",
    "message": "Dakika başına istek limiti aşıldı."
  }
}

Retry-After başlığı kaç saniye sonra yeniden deneyebileceğinizi söyler. Çoğu OpenAI SDK’sı 429’u kendiliğinden yeniden dener; kendi istemcinizi yazıyorsanız artan aralıklarla yeniden deneme ekleyin.

429, kota aşımı değildir. Token bütçeniz dolduğunda istekler durmaz, yalnız uyarı görürsünüz; 429 yalnız anlık hız limitinde döner ve Retry-After süresi geçince kendiliğinden çözülür.

Maskeleme deseni sınırları

Kurumunuza özel desenler için üç sınır vardır: en çok 25 desen, desen başına en çok 200 karakter ve tarama için bir zaman bütçesi. Sınırlar keyfi değil; kötü kurgulanmış tek bir desen maskelemeyi uzun süre meşgul edebilir, bütçe bunu keser.

Bütçe aşıldığında iki yön farklı davranır ve bu ayrım bilinçlidir:

• Maskeleyen desen bütçeyi aşarsa istek 422 ile reddedilir. Sessizce eksik maskelemek yerine hata vermeyi tercih ediyoruz.
• Muafiyet deseni bütçeyi aşarsa o desen uygulanmaz ve istek normal şekilde tamamlanır. Muafiyet maskelemeyi azaltır; azaltan bir kural belirsizlikte devreye girmemelidir.

Aynı sınırlar, desenleri doğrudan istek gövdesinde gönderdiğinizde de geçerlidir. Panelden tanımladığınız kurum desenleri istekteki desenlere eklenir ve istek gövdesiyle düşürülemez; sonuç yalnız maskelemeyi artırır. Desenleri panelden tanımlamak için Panel.

Girdi uzunluğu

Maskelenecek her metin parçası için bir uzunluk sınırı vardır: 20.000 karakter. Aşan istek dış modele gitmez, 413 ile geri döner ve mesaj ne yapılması gerektiğini söyler (metni bölüp yeniden gönderin).

Sınır metin başınadır, istek toplamı değildir. Bu ayrım toplu işlerde önemlidir:

• /v1/embeddings isteğinde input bir dizi olabilir. Üç ayrı 15.000 karakterlik belge (toplam 45.000) sorunsuz geçer, çünkü her biri tek başına sınırın altındadır.
• Buna karşılık dizideki tek bir uzun belge tüm isteği düşürür. Toplu indekslemede belgeleri göndermeden önce uzunluğa göre ayıklamak ya da parçalamak gerekir; yoksa bir belge yüzünden o partinin tamamı yeniden gönderilir.

Özet

Bütçenizi büyütmek veya bir anahtara özel limit tanımlamak isterseniz bizimle iletişime geçin.