Markt + Trends | KI und Data Science | iX

Neue LLMs von Databricks und Mistral sind Mixture-of-Experts

Die neu veröffentlichten Large Language Models DBRX und Mixtral 8x22B setzen auf dieselbe Architektur, die Trainingskosten senken und die Inferenz beschleunigen soll.

Databricks und Mistral AI haben jeweils ein neues Large Language Model (LLM) veröffentlicht. Beide sind zumindest bis zu einem gewissen Grad quelloffen und beide folgen dem Architekturmodell Mixture-of-Experts (MoE).

DBRX ist das erste große Sprachmodell, das Databricks nach der Übernahme des KI-Start-ups MosaicML im Sommer letzten Jahres präsentiert. In Benchmarks schlägt es etablierte quelloffene Modelle wie LlaMa2-70B oder Grok-1, aber auch GPT-3.5 in verschiedenen Disziplinen. Vor allem bei Programmierung und Mathematik ist der Abstand sehr deutlich.