les mod=E8les du genre STDP ajoutent autre chose, une autre dimension, qui est le temps, ce que les mod=E8les que j'avais vu jusque maintenant n'int=E9graient pas. Aucune mention de =E7a dans le cijSB9l1N4.pdf pass=E9 sur ci-joint. Alors oui c'est plus difficile =E0 simuler, mais je "sens" que c'est plus puissant.
oui, je me r=E9p=E8te, et oui, j'ai dit que je r=E9pondrais pas. mais bon, hein, les promesses faites sur Usenet....... :-P yg
Effectivement ce n'en est qu'une partie, mais cette partie est *indissociable* de la partie non-lin=E9aire, ce qui fait qu'un neurone dans son ensemble reste non-lin=E9aire.
Ce que tu perds de vue, c'est que la fonction de transfert globale du neurone, vue de l'exterieur (c'est-=E0-dire du r=E9seau) est non s=E9parable en ses sous-fonctions: il reste non-lin=E9aire. Ce n'est pas parce-que tu y vois un terme en sigma qu'il faut =AB oublier =BB la fonction d'activation !
Dans l'exemple de l' AOP suivi d'un comparateur, si le tout est impl=E9ment=E9 en hard sur un chip, tu auras beau savoir que les entr=E9es sont somm=E9es (donc lin=E9aires) tu ne pourras rien faire au fait que la sortie basculera au passage du seuil (non lin=E9aire)
Autre exemple : Si tu vois une fonction non-lin=E9aire du genre (1) y =3D ax^p + bx + c et que tu la =AB simplifies =BB en (2) y =3D k + bx + c pour conclure que c'est lin=E9aire puisque tu vois (3) bx + c ben l=E0 ce n'est plus la MEME fonction, donc tes conclusions sur (3) ne sont pas valables pour (1)
C'est utile de simplifier, mais faut pas jeter b=E9b=E9 avec l'eau du bain, sinon maman pas etre contente !
Tu continues =E0 confondre la fonction de transfert (locale) d'un neurone avec la fonction (globale) d'aprentissage du r=E9seau dans son ensemble. Leurs participations respectives au r=E9sultat d'un test donn=E9 ne se situent pas au meme niveau.
Par exemple, tu peux =E9tudier le fonctionnement interne d'un ordinateur =E0 un niveau =E9l=E9mentaire (transistors) ou au niveau logique (portes NOT, NAND, etc) ou au niveau fonctionnel (registres, etc) mais une analyse qui est pertinente pour un de ces niveaux ne l'est pas n=E9c=E9ssairement pour un autre.
En ce qui concerne les r=E9seaux de neurones, il me semble bien que tu fais cette confusion entre ces diff=E9rents niveaux.
Quand on impl=E9mente un r=E9seau de neurones en soft, on fait le calcul de toutes les mises =E0 jour des poids synaptiques =E0 un instant donn=E9 : il y a bien synchronisme, c'est pourquoi je ne vois pas ce que tu y trouves =E0 redire.
Ce n'est pas une question de gout :
2 + 2 =3D 4 est toujours vrai, quelque soient les gouts.
Le mod=E8le conceptuel du neurone date des ann=E9es 1930, et depuis beaucoup de travail a =E9t=E9 fait l=E0-dessus, puis ca s'est calm=E9 quand on s'est rendu compte que les tenants de l' I.A ne tenaient pas leurs promesses. (c'est une autre discussion, tout aussi int=E9r=E9ssante)
Bon, c'est un des *nombreux* mod=E8les d'apprentissage (et non pas un mod=E8le de neurone) et il en existe beaucoup d'autres, dont l'efficacit=E9 d=E9pend du test qu'on leur soumet : a chaque type de probl=E9me son mod=E9le d'aprentissage adapt=E9, mais il n'en existe aucun qui r=E9solve tous les probl=E8mes.
Je pense que tu devrais etre beaucoup plus int=E9r=E9ss=E9 par les mod=E8les qui impl=E9mentent ce que l'on appelle =AB l'auto-apprentissage =BB
Ah, enfin ... merci de l'admettre ! C'est si rare de nos jours d'etre sinc=E8re que c'en est presque devenu un anachronisme ... (comme si le fait de reconnaitre de s'etre plant=E9 =E9tait un signe de faiblesse ou je ne sais quoi)
Je suis rassur=E9, les LEDs continueront =E0 clignoter !
Pour quelle raison ? Ou se situe le manque ? D'ou tires-tu les bases de ce que tu avances ? Quels sont tes arguments ?
Mais c'est tout ce qu'on lui demande, justement parce-que l'on sait que c'est tout ce que l'on peut raisonnablement attendre de lui.
Tu ne vas pas demander =E0 un seul transistor de faire le travail d'un micro-processeur, bien que le micro-processeur soit fait de transistors !
Ne confonds pas les niveaux d'interactions entre neurone/transistor et r=E9seau/micro-processeur : la finalit=E9 de leur fonction n'appartient pas au meme niveau, et par suite leur analyse ne se fait pas sous le meme angle.
Oui, ok, c'est justement ce qui m'emp=E8che de rester silencieux quand je lis des trucs qui me font bondir, comme par exemple les neurones =AB anticipatifs =BB
Aucune raison que ca tourne au vinaigre tant qu'aucun troll ne se pointe ... (pour ca on est assez bien lotis sur fse, sauf quelques rares attaques mal branl=E9es)
Ce fut un plaisir, quoique de courte dur=E9e... (comme me dit (presque) toujours ma fianc=E9e) ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H
ce qui me chagrine est que justement le neurone est le plus souvent "r=E9duit" =E0 juste ces deux aspects.
pareil. Dans les =E9quations, j'aurais bien aim=E9 avoir t :-)
non.
non plus. je suis un connexionniste convaincu :-)
ah ben justement on y vient ! c'est l=E0 que se situe mon souci : quand j'ai parl=E9 de synchronisme, je pensais et sous-entendais "synchronisme d'un neurone avec ses voisins", un param=E8tre qui entre aussi dans la r=E9alit=E9 dans la pond=E9ration de la somme.
Or en informatique et avec les RN "simples", ce param=E8tre est =E9clips=E9 et simplifi=E9 =E0 : tous les neurones sont synchrones. Ce qui n'est pas vrai en r=E9alit=E9 : il suffit de regarder un EEG.
certainement, mais depuis 1930 il y a eu =E9norm=E9ment de progr=E8s et d'affinages.
??? Les PDF que j'ai fourni parlent de "Spike-Timing Dependent Plasticity" et de leur apprentissage, cela ne veut pas dire que STDP /est/ un mod=E8le d'apprentissage.
Ensuite, chaque labo a d=E9velopp=E9 ses propres codes qu'ils refusent de r=E9v=E9ler, ce qui emp=EAche malheureusement l'=E9valuation effective de leur travaux. Encore un autre sujet tabou.
En tout cas je note dans memoire05.pdf : "Nous nous int=E9resserons =E0 une loi hebbienne, issue de la biologie, la Spike-Timing Dependent Plasticity, qui fait =E9voluer les poids des synapses selon le d=E9lai entre les temps de d=E9charge du neurone pr=E9-synaptique et du neurone post-synaptique." Ce n'est pas juste une m=E9thode d'apprentissage, on ne peut pas apprendre le temps =E0 un r=E9seau qui n'en a pas. Il s'agit donc bien d'un mod=E8le de r=E9seau qui n=E9cessite d'affiner la d=E9finition d'un neurone.
oui sinon tous les neurones de notre cerveau seraient identiques.
en tout cas j'ai bien lu : "l'apprentissage de s=E9quences"
"mais o=F9 sont donc les voitures volantes qu'on nous avait promis il y a 50 ans ?" :-)
merci de bien sp=E9cifier "r=E9seaux de neurones" au lieu de juste neurones. J'ai probablement =E9crit un peu trop rapidement mes derniers posts, ce qui ne signifie pas que j'ai pens=E9 qu'un seul neurone pouvait anticiper quoique ce soit.
la prochaine fois, on couplera nos r=E9seaux avec des algos g=E9n=E9tiques ? :-)
ah donc j'avais zapp=E9 ce d=E9tail, il y a plusieurs op=E9rations : l'activit=E9 de d=E9clenchement des neurones (l'it=E9ration de l'application des sommations et fonctions de transfert)=
et l'activit=E9 de mise =E0 jour des poids de chaque couple neurone/synapse.
Moi je me suis int=E9ress=E9 surtout au premier, qui est la plupart du temps sursimplifi=E9 (d'o=F9 mon grief ;-)) alors que ce passage parle aussi de la 2=E8me =E9tape, qui est =E0 plusieurs =E9chelles de temps plus lentes (et =E0 plusieurs =E9chelles de temps, tout court, et contr=F4l=E9 par de nombreux m=E9canismes diff=E9rents).
Le fait de mettre =E0 jour tous les poids en m=EAme temps est encore (=E0 mon sens) une sursimplification.
Je veux dire par l=E0 que m=EAme si STDP =E9tait juste un mod=E8le d'apprentissage, les neurones sous-jacents ont n=E9cessairement le moyen de r=E9agir aux temps entre les impulsions, ce qui veut dire tout simplement que les neurones artificiels utilisant STDP ont une notion du temps "non discr=E8te" (ce n'est pas r=E9duit =E0 des it=E9rations simples).
Ensuite, s'ils sont plus ou moins efficaces que d'autres mod=E8les plus anciens, =E7a m'emb=EAte pas, tant que =E7a fait bien ce qu'on lui demande, et les techniques d'am=E9liorations sont tr=E8s nombreuses. Je reviendrai voir le r=E9sultat dans 10 ou 20 ans ;-)
Pardon ? D'apr=E9s ce que j'ai pu lire sur le thread concernant l'alim de LEDs sur le 220V, tu n'as pas l'air d'etre tr=E9s copain avec les =E9quations ? Tu dis toi-meme =AB j'ai trop peur de faire les calculs =BB C'est honn=E8te de ta part de l'avouer, mais alors que penser de ta critique du mod=E9le neuronal quand tu dis =AB je reste sur ma faim =BB et =AB =E7a me suffit pas =BB
Pour critiquer un syst=E8me d=E9crit par des =E9quations il faut au moins tenir compte de ces =E9quations, sinon la critique ne porte pas sur le syst=E8me mais sur ce que tu crois en avoir compris.
Bref, pour en revenir au sujet, c'est la meme chose que lors du passage de l'analogique au num=E9rique : dans les =E9quations le temps continu [t] est remplac=E9 par l'indice d'it=E9ration discret [n] tel que [ t =3D n.T ] avec [T] la dur=E9e =E9l=E9mentaire : tu vois bien que les indices [n] se r=E9f=E8rent au temps.
Quand on =E9crit U=3DR*I il n'est pas fait mention du temps, alors qu'on sait bien que la variation d/dt d'un param=E8tre entraine la variation des autres. Cela sous-entend U(t) =3D R(t) * I(t) mais on ne l'=E9crit pas comme ca justement parce-que c'est sous-entendu !
Mais chaque neurone du r=E9seau est bien en synchro avec tous ses voisins auxquels il est connect=E9.
Rogntudju, le fait que les calculs soient synchros ne signifie absolument pas que les =E9tats des neurones soient les memes !
Remarque qu'on pourrait tr=E9s bien r=E9aliser le calcul it=E9ratif
*seulement* sur quelques sous-groupes de neurones du r=E9seau : reste alors =E0 justifier la raison d'etre d'une telle proc=E9dure, et surtout de prouver que cela apporte un r=E9=E9l progr=E9s ...
Ben si, le STDP est bien une loi d'aprentissage, relis ton papier (premi=E8re phrase de la page 3)
formatting link
" comment utiliser une *LOI D'APPRENTISSAGE* locale issue " " de la biologie, la Spike-Timing Dependent Plasticity. "
Par ailleurs la STDP se classe parmi les lois de Hebb, et une loi de Hebb inclut bien le temps, une fois que tu as compris que le temps [t] est repr=E9sent=E9 par l'indice [n]. Et c'est le cas meme en dehors d'une impl=E9mentation STDP. (ci-joint la page 32 extraite de la doc que j'ai post=E9)
formatting link
Rogntudju, tout r=E9seau de neurones a n=E9c=E9ssairement un temps [t] qui est celui de l'it=E9ration =E9l=E9mentaire [n].
Et alors ? Ce n'est pas parce-que les s=E9quences d=E9pendent du temps qu'un r=E9seau de neurones sera incapable de les trier : Pour que le r=E9seau reconnaisse une s=E9quence, il faut bien que celle-ci soit pr=E9sente sur son entr=E9e, ensuite l'=E9tat du r=E9seau va converger vers la solution. D'ailleurs dans un r=E9seau le param=E8tre d'apprentissage d=E9pend bien du temps, sinon cela ne convergerait jamais !
Regarde cette page extraite de la doc que j'ai post=E9
formatting link
Rien de tabou, si cela t'int=E9resse vraiment il ne suffit pas de chercher sur Google ou Wiki, il faut lire les papiers publi=E9s dans la presse sp=E9cialis=E9e.
Bonjour Dan, et merci pour tes liens très interressant... Je ne savais même pas qu'il y avait des solutions tout intégrées (le deuxième circuit, l'Intersil)... Quelque part le progrès enlève le côté "créatif", bientôt un seul "composant" permettra de tout faire, même le café ;) A bientôt,
Pascal
"Dan NITA" a écrit dans le message de groupe de discussion :
ElectronDepot website is not affiliated with any of the manufacturers or service providers discussed here.
All logos and trade names are the property of their respective owners.