Ise majutatud AI: kõige tõhusamad ja võimsamad mudelid 2025. aastal

Võib öelda, et isehostitud AI-maastik on plahvatuslikult arenemas. Proprietäärsed hiiglased domineerivad endiselt võrdlusuuringutes, kuid avatud lähtekoodiga mudelid, nagu DeepSeek R1, Mistral Small 3.1 ja JetMoE, pakuvad muljetavaldavat jõudlust, sageli murdosa maksumusest. Siin on aus ülevaade sellest, mis on olemas ja milline mudel võiks teie järgmise projekti jaoks kõige paremini sobida.

---

Mida "isehostitav" tegelikult tähendab

Isehostetavad tehisintellekti mudelid on lokaalselt rakendatavad - te laadite alla kaalud, käivitate järeldusi oma riistvaras ja kontrollige kõike, alates latentsusest kuni andmete privaatsuseni. See erineb kaugjuhtimisplatvormi API kutsumisest, kus te maksate märgendi eest, sõltute võrgu kasutusaegadest ja tegelete pilveteenuste tasudega.

---

Parimad konkurendid aastal 2025

DeepSeek R1

• Avatud kaalud, MIT litsents
• Ületab OpenAI GPT-4o võrdlusnäitajatel nagu MATH ja AIME
• Mõeldud nii, et see on tõhus - treenitakse palju vähemate ressurssidega kui konkurendid
• Sobib suurepäraselt keerulise mõtlemise ja matemaatika jaoks

Mistral Small 3.1 (24B)

• Raske avatud lähtekoodiga versioon
• Parsib pilte ja tegeleb pikkade kontekstakendega (kuni 128K tokenid)
• Ideaalne multimodaalsete ja dokumendirikaste ülesannete jaoks

JetMoE-8B

• Ekspertide segu mudel, mis ületab LLaMA-2 7B, kasutades vaid murdosa arvutusvõimsusest
• Tõhus järeldus - aktiveerib ainult osa täielikust mudelist iga sümboli kohta

DBRX (Databricks/Mosaic)

• 132B MoE-mudel, mis konkureerib avatud lähtekoodiga mudelitega

---

Mis on kõige olulisem: jõudlus vs. tõhusus

DeepSeek R1

• Järelduste tegemise kiirus: tagasihoidlik
• Riistvaravajadused: Mõõdukas GPU või kõrgekvaliteediline protsessor
• Kontekstiaken: ~128K tokenid (hinnanguliselt)
• Parim kasutusjuhtum: Matemaatikarikkad, loogikaintensiivsed töökoormused
• Litsents: MIT

---

Mistral Small 3.1

• Järelduste tegemise kiirus: Kiire GPU või kaasaegse protsessori puhul
• Riistvaravajadused: Kättesaadav (üks GPU või võimas CPU)
• Kontekstiaken: 128K märgid
• Parim kasutusviis: Multimodaalsed ülesanded, pikad dokumendid
• Litsents: Apache-2.0

---

JetMoE-8B

• Järelduste tegemise kiirus: MoE (Mixture-of-Experts) tõttu väga tõhus
• Riistvaravajadused: Minimaalne (hea ühe GPU või ainult CPU jaoks)
• Kontekstiaken: Standard (~4K-8K tokenid sõltuvalt versioonist)
• Parim kasutusviis: Piiratud ressurssidega keskkondade puhul
• Litsents: Avatud teadusuuringud

---

DBRX (Databricks)

• Järelduste tegemise kiirus: suuruselt tõhus, kuid nõuab tugevat riistvara
• Riistvaravajadused: Kõrge (soovitatav on sageli >2 GPU-d)
• Kontekstiaken: Standard
• Parim kasutusviis: Üldotstarbelised rakendused skaalal
• Litsents: Databricks Open

DeepSeek'i R1 on juhtiv argumenteerimisega, Mistral on ideaalne pikkade dokumentide või piltide jaoks, JetMoE on suurepärane, kui teil on kitsas GPU, ja DBRX täidab üldised ülesanded, kuid vajab tugevat riistvara.

---

Ühenduse ja tööstuse seisukohad

• Meta Yann LeCun ütles, et DeepSeek R1 näitab, et avatud lähtekoodiga programm on järele jõudnud
• Redditi r/LocalLLM kasutajad eelistavad töökoormuste puhul DeepSeek, Qwen, Janus 7B

---

Kuidas valida oma mudelit

1. Määratlege oma kasutusjuhtum - matemaatika, kood, vestlus, pildid? Keskenduge selle valdkonna võrdlusuuringutele.
2. Kontrollige riistvara - ainult protsessor? Valige Mistral Small või JetMoE. Kas sul on GPU? DeepSeek või DBRX on suurepärased.
3. Hinnake latentsusnõudeid - Kui teil on vaja kiiret järeldust ühe tokeni kohta, aitavad väiksemad või MoE-mudelid.
4. Kaaluge kontekstiakent - suurem on parem pikkade vestluste või dokumentide puhul.
5. Litsents ja ökosüsteem - Apache/MIT on kommertskasutuseks lihtne; MoE/open-research võib vajada läbivaatamist.

---

Video soovitus

Pealkiri: Mida insenerid peavad teadma?<br>

Channel: (kanal): Engineered Intelligence<br>

---

Lõplikud mõtted

Aastal 2025 ei ole kõige tõhusamad isemajandatavad AI-mudelid enam akadeemilised kurioosumid, vaid tõeliselt võimsad tööriistad. DeepSeek R1 on loogika/järelemõtlemise võimsus, Mistral saab hakkama pikkade ja multimodaalsete kontekstidega, JetMoE ja DBRX pakuvad tõhusaid, kuid võimekaid alternatiive.

Valige see, mis sobib teie riistvarale, kasutusviisile ja jõudlusvajadustele, ning te ei pea võib-olla enam kunagi maksma tunnuse eest või tegema kompromisse privaatsuse osas.