SHEBANG
Alla tjänster

Inferens & modellserving

Vi gör öppna modeller, egna modeller och leverantörernas API:er till en tjänst. Val och inställningar mäts med era anrop och era kvalitetskrav.

Från modell till tjänst

  • Välj runtime efter modell och hårdvara. Alla modeller behöver inte GPU; jämför CPU där valet är oklart.
  • Anpassa batching och köer till interaktiv användning eller stora batchjobb.
  • Skala repliker efter kölängd och svarstid, både uppåt och nedåt.
  • API med autentisering, modellversioner och tydliga fel.
API. Repliker: Modellen i sin runtime på GPU-server.. Kö och svarstid: Mätvärden som styr skalning.. Ny replik: Startar vid ökad last, stängs vid minskad.
  1. API
  2. ReplikerModellen i sin runtime på GPU-server.
  3. Kö och svarstidMätvärden som styr skalning.
  4. Ny replikStartar vid ökad last, stängs vid minskad.

Anpassa servingmotorn till modellen

  • Continuous batching låter nya anrop ansluta till körande batcher.
  • KV-cache växer med kontext. PagedAttention minskar fragmentering; lägre cacheprecision testas mot er kvalitet.
  • Prefix caching återanvänder gemensamma promptdelar.
  • Speculativ avkodning föreslår och verifierar token i grupper. Mät kvalitet och svarstid i er miljö.
  • Anpassa attention- och matriskärnor, kompilering, parallellism och batchgränser i exempelvis vLLM eller SGLang.

Flera GPU:er som en tjänst

  • Separata prefill- och decode-pooler dimensioneras efter beräkning respektive minnesbehov.
  • Cachemedveten routing väger återanvändbart prefix mot replikernas last.
  • KV-cache kan flyttas till CPU-minne eller lagring och återläsas.
  • Stora modeller och mixture-of-experts kan delas över noder. Validera minne och kommunikation.
  • Kubernetes och exempelvis llm-d kan samordna serving och routing.
Router: Väljer replik med cachat prefix.. Cachat prefix. Prefill-pool: Bearbetar prompten.. KV-cache: Överförs till decode-replik.. Decode-pool: Skriver svaret token för token.
  1. RouterVäljer replik med cachat prefix.
  2. Cachat prefix
  3. Prefill-poolBearbetar prompten.
  4. KV-cacheÖverförs till decode-replik.
  5. Decode-poolSkriver svaret token för token.

En ingång för flera modeller

  • Gemensamt OpenAI-kompatibelt API framför egna modeller och externa leverantörer.
  • Leverantörsnycklar ligger i gateway, medan appar autentiseras med egna nycklar eller befintlig identitetstjänst.
  • Tokenbaserade kvoter per team, app och modell.
  • Routing och fallback mellan leverantörer och egna repliker.
  • Följ tokenanvändning och kostnad per team, användare och modell.

Mät på era anrop

  • Median och p95 för svarstid, tid till första token och tid mellan token.
  • Genomströmning per replik samt GPU-, CPU- och minnesanvändning.
  • Kostnad per anrop och kvalitet på representativa testdata.
  • Samma last och kvalitetskrav när modell, hårdvara eller konfiguration ändras.

Från analys till drift

  • Kartlägg anrop, användare, svarstids- och tillgänglighetskrav samt hårdvara.
  • Bygg runtime, batching, köer och versionshanterat API i test.
  • Belastningstesta med era data och jämför med kraven.
  • Inför autoskalning, larm och nya modellversioner bakom samma API.

Ni kan förvalta tjänsten

  • Runtime, API och skalning som kod, mätrapport, lasttestskript och testdata stannar hos er.
  • Runbooks, åtkomst och namngivna ägare för drift och felsökning.
  • Teamet levererar en modellversion, kör om lasttestet och hanterar ett svarstidslarm enligt runbook.

Relaterade tjänster

Infrastrukturplanering & hårdvaraAI-infrastrukturModelloptimeringMLOpsProxmox VEAWS

Prata med oss om Inferens & modellserving

Så arbetar viMöt teamet

Vi använder informationen endast för att kontakta dig kring det du skrivit om. Läs mer i vår integritetspolicy och cookiepolicy.