Ford+VW: Argo AI - Robotaxi-Startup eingestellt

Es gibt Computer bei denen Daten und Programm nicht im gleichen RAM gespeichert werden, nicht nur in der CPU selbst wo das heute Standard ist. D.h. ein laufendes Computerprogramm kann seinen Code nicht selbst modifizieren.

Ja, siehe die kleinen AVR. Aber so richtig durchgesetzt hat sich das nicht, schon alleine deshalb weil die reine Lehre der Trennung nur mit Programm im ROM funktioniert. Bei einem Computer der Programme von einem Massenspeicher laden muss geht es nicht, denn irgendwie muss der Code ja in den Speicher zur Ausführung kommen.

Gerrit

Und ich behaupte, daß nicht ist, was nicht sein darf. Wie sähe denn so ein "Test mit einem SHA3_256-Hash" aus? Und warum ausgerechnet der? Über welche Schnittstelle wird das Ergebnis ausgegeben? Können und dürfen sich die am Test beteiligten Partner vertrauen? Wie schließt man einen MitM-Angriff sicher aus?

Da landen wir schnell in der Abteilung "Trusted Computing". Wurde ja bei den PCs schon längst flächendeckend ausgerollt, weswegen es in der Praxis nicht mehr vorkommt, daß kompromittierte Hard- und Software irgendwas Schadhaftes anstellt. Nicht. Und nun glauben wir, das würde ausgerechnet mit dem goldenen Kalb der Deutschen funktionieren, wo eine riesige Lobby seit Jahrzehnten nichts anderes tut, als den Status Quo ("Firmengeheimnis!") zu schützen?

Sicher.

Und schon? Dann verändere ich halt die Daten dahingehend. Oder spiele ein Update auf, welches immer die unauffällige Prüfsumme zurückgibt. Oder schalte ein Dongle davor, welches sich in den Prüfsummenprozeß einklinkt.

Aprospos Prüfsumme: Worüber möchtest Du die Prüfsumme den bilden? Nur den ausführbaren Code im (semi-readonly, da Flash) Speicher? Gehören da auch die Kennfelder dazu (die im laufenden Betrieb innerhalb gewisser Grenzen den Gegebenheiten angepaßt, d. h. "adaptiert" werden)?

Alle Steuergeräte? Inclusive deren ID? Was passiert beim Austausch eines Steuergeräts?

Versteh mich nicht falsch: Das ist natürlich von einer akademischen Warte aus ziemlich leicht realisierbar. In der Praxis gibt das ein Hauen und ein Stechen und der Schmerz ist vermutlich so groß, daß man es lieber läßt. Ich mache auch keinen Hehl daraus, daß ich es sehr gerne anders hätte.

Denn sich auf ein Firmengeheimnis zurückzuziehen, wenn es um den Nachweis von Abgasmanipulationen geht, ist ja schon ein bisserl frech. Erlaubt man sich aber nur in Deutschland, in den USA sieht das Rechtesystem ein bisserl anders aus. Die kriegen zwar auch keinen Einblick in die Firmware, aber wenn sich die Justiz hinreichend sicher ist, daß gemauschelt wurde, dann brennt die Hütte.

Volker

Kann man so machen, ja, aber wird bei einem Auto keiner tun, da werden die Kosten bis auf 1/10 Cent berechnet und gedrückt wo immer es geht.

Und bei anderen Rechnern... Wie implementiert man bei Harvard Swap/Paging?

Gerrit

Das Programm koennte auch im RAM liegen, aber eben einem speziellen auf das der Prozessor nicht schreiben kann. Um das Programm ins RAM zu bringen haben wir einen zweiten Prozessor, der als einziger auf den Massenspeicher wo das Programm liegt zugreifen und das Programm ins RAM laden kann, der aber dessen eigene Software unveraenderlich in einem ROM liegt. Der kann auch in den Massenspeicher schreiben bei einem Softwareupdate, aber nur auf eine unveraenderliche Art und Weise waehrend der andere Prozessor ausser Betrieb ist, indem er den uebergebenen Programmcode mit einem fest einprogrammierten Public Key entschluesselt, und dann hineinschreibt. Nur der Besitzer des Private Keys kann ein einen solchen Code erzeugen, das waere hier der Hersteller.

Am besten auf der Autobahn bei 120 km/h "Updates erfolgreich installiert, bitte _jetzt_ kurz anhalten, das Auto started gleich neu 10, 9, 8, ..."

SCNR, Alex.

Der Preis für Mikroelektronik in Massenproduktion hängt vor allem an der Chip- und Platinenfläche. Wir reden hier von Massenproduktion. Besagte Flächen für die Sensoren werden sich in Grenzen halten. Damit auch die Preise. Derzeit sind die Stückkosten noch hoch, weil die ganzen Entwicklungskosten erst mal eingespielt werden sollen. Das wird sich mit der Volumenproduktion allerdings erheblich relativieren.

Richtig. Trotzdem geht es nicht um rare Einzelfälle, sondern um das GESAMTERGEBNIS. Also um weniger Unfallschäden. Du schreibst hier vom Feinschliff, NACHDEM das Ziel von weniger Umweltschäden erreicht ist.

Nein, Maschinen können keine Fehler machen! Hingegen die Software in Maschinen kann fehlerhaft programmiert worden sein.

Man wünscht sich solch ein Gesamtergebnis, ja. Jedoch gibt es als Teil der gesamten Software die 'Moral Machine', die programmiert werden muß. Der damit befaßte MIT-Professor sagte, daß alle Einzelprobleme gelöst werden müssen, indem programmiert werden muß.

Nein, die Treppe hat ja keine Schuld. Schuld durch bloße Existenz gibt es nicht.

Maschinen begehen keine Fehlentscheidungen. Genau betrachtet entscheiden sie nichts, sondern ihre Software, die von Menschen programmiert wurde.

Solche Betrachtungen gibt es im Software-Geschehen nicht! Teilprogramme als fehlerhaft oder nicht einstufen wollen/können - kann es nicht geben. Software ist deterministisch. Entweder sie enthält Fehler, oder eben nicht. Dazwischen gibt es nichts.

Dennoch muß sie vollständig programmiert vorhanden sein, allein wegen des Potentials ihrer notwendigen Aufrufung. Mit Software-Varianten für viele verschiedene Länder.

An meinem letzten Arbeitsplatz arbeitete ich mit Fujitsu 16 Bit und Coldfire 32 Bit. Fujitsu hatte z.B. 384 KB ROM, 20 KB RAM, 24/56 MHz. Coldfire 4 MB ROM und 8 MB RAM, 150 MHz.

Der Code wurde irgendwie gefetcht in einen kleinen RAM hinein, nicht dokumentiert. Der Code im ROM war zur Runtime absolut unänderbar.

Der Coldfire war nicht/kaum schneller als der Fujitsu 24 MHz! Kaum zu glauben, aber ich weiß, warum.

LIDAR ist keine neue Technik, Radar und Kameras ebenso nicht. Letztere werden schon jetzt in großen Mengen in Autos verbaut, die Produktion ist dort also schon optimiert. Abstandstempomat und Spurhalteassistent an board? Bedeutet mindestens eine Kamera und ein Radar-Sensor. Bei LIDAR ist es eher der mechanische Aufwand der kostet. Und natürlich die extra Anforderungen an die Haltbarkeit.

Und ein Hochleistungsrechner der die ganzen Sensoren nicht nur einlesen sondern auch in Echtzeit auswerten kann (schliesslich soll da eine KI drauf laufen) kostet leider immer noch. Speziell wenn der in einem Auto laufen soll, also bei -30 Grad bis +70 Grad und heftigen Vibrationen keine Probleme machen darf.

Umwelt oder Unfall? Ich denke du meinst Unfall. Problem ist hier eher die Presse. Wenn ein autonomes Auto beim Ausweichen die Oma umbügelt wird garantiert gefragt werden warum und wenn es eine Chance gab das zu vermeiden, egal wie unwahrscheinlich, wirds richtig unangenehm für den Hersteller. Man kann dabei eigentlich nicht gewinnen.

Gerrit

Deshalb gibt's für solche Software ja auch noch keine allgemeine Zulassung. An der Zahl der Eingriffe pro Million Kilometer könnte man aber abschätzen, ob eine Zulassung sinnvoll ist oder nicht.

Oder auch morgens einsteigen und zur Arbeit wollen... Und das Auto meldet ein 'Update in progress, this might take a few minutes'. ;)

Gerrit

Wobei es mit KI interessant wird. Man kann eine KI trainieren sich in bestimmter Weise zu verhalten. Aber wie die KI die Entscheidung für ein bestimmtes Verhalten trifft kann keiner sagen.

Gerrit

In unserem Fachbereich hatten wir mehrere Profs, die der Meinung waren, dass wir KEINE Fehler machen. Denn läuft was nicht nach Plan, dann haben wir was gelernt und das ist nun mal KEIN Fehler. Ein Fehler wird's erst, wenn das gleiche Missgeschick trotz Aufarbeitung NOCHMAL passiert.

Das kommt mir etwas weltfremd vor. Wer kann schon ALLE Probleme lösen?

Können Fehler existieren?

Dann werden Fahrzeuge zu Waffen.

Das hat ein ROM so an sich. ;)

Gerrit

Man kann nicht wissen, wie eine KI ihre Umwelt wahrnimmt und beurteilt, und wie sie wünschenswerte Reaktionen auf andere (nicht explizit trainierte) Situationen übertragen kann.

Wurde schon mal untersucht, wie eine KI auf die vielen Dashcam Videos reagiert, wie sie vor allem aus Russland zu uns kommen?

DoDi

"Hochleistungsrechner" der hier erforderlichen Art sind billig. Sensoren sind sogar spottbillig, abgesehen von LIDAR

Solange es lediglich um derlei einfache Dinge geht, genügen ein paar Kameras zum Stückpreis von unter 100Euro. Radar brauchts dazu noch nicht, obgleich auch das billig ist. Ein 77GHz-Kurzstreckenradar kostet wohl so um die 50-200Euro

Bei LIDAR geht der Entwicklungspfad zur Vermeidung mechanischer Komponenten. Aber das ist derzeit in der Tat recht teuer. Multi-Laser-Geräte ohne bewegliche Teile kosten eher gut fünfstellige Beträge

"Hochleistungs"-Rechner braucht es für Abstandstempomat und Spurhalteassistent in keiner Weise. Da tuts in real existierenden Fahrzeugen bereits ein Atom-Prozessor.

Die Entscheidung hat der Gesetzgeber schon vor ein paar Jahren vorgegeben. Ein autonom gesteuertes Fahrzeug darf keine Entscheidung anhand von Kriterien wie Alter, Geschlecht und dergl. treffen, wenn die Schädigung eines von mehreren Menschen unvermeidbar ist.

MfG Rupert

Das ist natürlich ein Beispiel-Algorithmus. Ich würde den aber wählen, weil es um Hochsicherheits-Software geht, und weil SHA3-### die neueste und sicherste Hash-Familie beim NIST ist (Keccak).

Wie solch ein Test aussieht, ist klar. Das muß ich nicht erklären.

Wenn die Prüfsumme nicht paßt, wird ein Eintrag in die Fehler-Historie vorgenommen. Wenn eine redundante Kopie (BAK) der Software nicht verwendet werden kann, wird ein Eintrag in die Fehler-Historie vorgenommen. Das Fahrzeug bleibt frühestmöglich stehen.

Unbedingt! (Welche Partner denn?)

Ein MitM-Angriff ist gänzlich ausgeschlossen! Allein durch das Konzept.

Ich habe bereits grob umrissen, wie ich solch ein System konzipieren würde. Es würde da nichts PC-ähnliches geben, auch kein Betriebssystem. Um Himmels Willen! Ich würde auch nicht in der Abteilung 'Trusted Computing' herumstochern. Das wäre Zeitverschwendung.

Dies alles ist nicht möglich! Totale Verhinderung per Konzept.

Mindestens 'CODE readonly'.

Nein, es ist ja kein Executable wie unter einem Betriebssystem.

Mindestens der Hash von dessen Code wird geprüft.

Ich würde solch eine Software herstellen, so daß sie makellos funktioniert und sicher ist. Und ich würde das genau so machen, wie ich es will.

Das wird man bei autonomen Autos wohl (weitgehend) aussparen. In der 'Moral Machine' wird es kein selbst erlerntes Verhalten geben - starr vorgegeben.

KuKa forscht an selbstlernenden Robotern. An Robotern und deren Aufgaben, wo dies _kein_ Problem darstellt.