Was ist mit diesen neuartigen PCIe-Karten mit KI-Chips?

Am 28.10.24 um 23:00 schrieb Leo Baumann:

Was sollen die den "bringen" und was sollen "diese" sein?

Gelesen habe ich aktuell nur das Huawei wohl KI-Beschleuniger Karten nicht vorgestellt hätte deren Innenleben offenbar aus TSMC-Chips oder Chiplets bestünde - obwohl die wg. Handelsrestriktionen keine Geschäfte mehr machen dürfen und dies auch beteuern.

Aber ein KI-Chip ohne ein Programm (LLM?) dazu kommt mir wie eine Waffe ohne Munition vor. Jeder Dummkopf könnte sich das kaufen, aber ohne die richtigen Zutaten (Munition, Wissen, Externes) kommt wohl nix oder nur Unsinn heraus - oder gefährliches.

Bye/ /Kay

Am 28.10.2024 um 23:59 schrieb Kay Martinen:

Also braucht man ein entsprechendes Programm. Ich habe von Leistung in Verbindung mit Bildern gelesen.

Kommt drauf an, was du damit erreichen willst. Ich hab schon mal überlegt, mir einen "Coral"-Beschleuniger (irgendwie von Google aufgekauft glaub ich) zu kaufen, weil der "Frigate" Überwachungskamera- und Objekterkennung beschleunigen kann.

Was bedeutet das?

/ralph

Danke - solche Anwendungen brauche ich nicht wirklich.-

-- Public Webspace von Ingenieurbüro Baumann:

Leo Baumann, 2024-10-28 23:00:

Das ist genauso wie Grafikkarten mit GPUs, bei denen die GPU Dinge wie Videocodierung oder 3D-Grafik in Hardware ausführt und so die CPU entlastet.

Bei "KI-Chips" werden halt für "KI" typische Operationen ausgeführt. Das sind dann NPU (Neural Processing Unit), die anhand eines vorher generierten Modells konkrete Aufgaben beschleunigen können, wie z.B. Bilderkennung.

Ob das für *Dich* etwas bringt, musst Du selber beurteilen anhand deiner Anwendungen.