Conseil sur le choix d'un DSP ?

On Feb 22, 8:54 pm, whygee

Effectivement ce n'en est qu'une partie, mais cette partie est *indissociable* de la partie non-lin=E9aire, ce qui fait qu'un neurone dans son ensemble reste non-lin=E9aire.

Ce que tu perds de vue, c'est que la fonction de transfert globale du neurone, vue de l'exterieur (c'est-=E0-dire du r=E9seau) est non s=E9parable en ses sous-fonctions: il reste non-lin=E9aire. Ce n'est pas parce-que tu y vois un terme en sigma qu'il faut =AB oublier =BB la fonction d'activation !

Dans l'exemple de l' AOP suivi d'un comparateur, si le tout est impl=E9ment=E9 en hard sur un chip, tu auras beau savoir que les entr=E9es sont somm=E9es (donc lin=E9aires) tu ne pourras rien faire au fait que la sortie basculera au passage du seuil (non lin=E9aire)

Autre exemple : Si tu vois une fonction non-lin=E9aire du genre (1) y =3D ax^p + bx + c et que tu la =AB simplifies =BB en (2) y =3D k + bx + c pour conclure que c'est lin=E9aire puisque tu vois (3) bx + c ben l=E0 ce n'est plus la MEME fonction, donc tes conclusions sur (3) ne sont pas valables pour (1)

C'est utile de simplifier, mais faut pas jeter b=E9b=E9 avec l'eau du bain, sinon maman pas etre contente !

Tu continues =E0 confondre la fonction de transfert (locale) d'un neurone avec la fonction (globale) d'aprentissage du r=E9seau dans son ensemble. Leurs participations respectives au r=E9sultat d'un test donn=E9 ne se situent pas au meme niveau.

Par exemple, tu peux =E9tudier le fonctionnement interne d'un ordinateur =E0 un niveau =E9l=E9mentaire (transistors) ou au niveau logique (portes NOT, NAND, etc) ou au niveau fonctionnel (registres, etc) mais une analyse qui est pertinente pour un de ces niveaux ne l'est pas n=E9c=E9ssairement pour un autre.

En ce qui concerne les r=E9seaux de neurones, il me semble bien que tu fais cette confusion entre ces diff=E9rents niveaux.

Quand on impl=E9mente un r=E9seau de neurones en soft, on fait le calcul de toutes les mises =E0 jour des poids synaptiques =E0 un instant donn=E9 : il y a bien synchronisme, c'est pourquoi je ne vois pas ce que tu y trouves =E0 redire.

Ce n'est pas une question de gout :

Le mod=E8le conceptuel du neurone date des ann=E9es 1930, et depuis beaucoup de travail a =E9t=E9 fait l=E0-dessus, puis ca s'est calm=E9 quand on s'est rendu compte que les tenants de l' I.A ne tenaient pas leurs promesses. (c'est une autre discussion, tout aussi int=E9r=E9ssante)

Bon, c'est un des *nombreux* mod=E8les d'apprentissage (et non pas un mod=E8le de neurone) et il en existe beaucoup d'autres, dont l'efficacit=E9 d=E9pend du test qu'on leur soumet : a chaque type de probl=E9me son mod=E9le d'aprentissage adapt=E9, mais il n'en existe aucun qui r=E9solve tous les probl=E8mes.

Je pense que tu devrais etre beaucoup plus int=E9r=E9ss=E9 par les mod=E8les qui impl=E9mentent ce que l'on appelle =AB l'auto-apprentissage =BB

Ah, enfin ... merci de l'admettre ! C'est si rare de nos jours d'etre sinc=E8re que c'en est presque devenu un anachronisme ... (comme si le fait de reconnaitre de s'etre plant=E9 =E9tait un signe de faiblesse ou je ne sais quoi)

Je suis rassur=E9, les LEDs continueront =E0 clignoter !

Pour quelle raison ? Ou se situe le manque ? D'ou tires-tu les bases de ce que tu avances ? Quels sont tes arguments ?

Mais c'est tout ce qu'on lui demande, justement parce-que l'on sait que c'est tout ce que l'on peut raisonnablement attendre de lui.

Tu ne vas pas demander =E0 un seul transistor de faire le travail d'un micro-processeur, bien que le micro-processeur soit fait de transistors !

Ne confonds pas les niveaux d'interactions entre neurone/transistor et r=E9seau/micro-processeur : la finalit=E9 de leur fonction n'appartient pas au meme niveau, et par suite leur analyse ne se fait pas sous le meme angle.

Oui, ok, c'est justement ce qui m'emp=E8che de rester silencieux quand je lis des trucs qui me font bondir, comme par exemple les neurones =AB anticipatifs =BB

Aucune raison que ca tourne au vinaigre tant qu'aucun troll ne se pointe ... (pour ca on est assez bien lotis sur fse, sauf quelques rares attaques mal branl=E9es)

Ce fut un plaisir, quoique de courte dur=E9e... (comme me dit (presque) toujours ma fianc=E9e) ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H ^H

"Jean-Christophe" a écrit dans le message de news: snipped-for-privacy@l26g2000yqd.googlegroups.com...

ok pour la fonction d'activation mais j'ai cru comprendre que whygee voulait ajouter de la non-linéarité ailleur dans le reseau...

oui c'est pour ça que j'ai écrit "a l'air vivant"...et avec un smiley de sécurité en plus...

ce qui me chagrine est que justement le neurone est le plus souvent "r=E9duit" =E0 juste ces deux aspects.

pareil. Dans les =E9quations, j'aurais bien aim=E9 avoir t :-)

non.

non plus. je suis un connexionniste convaincu :-)

ah ben justement on y vient ! c'est l=E0 que se situe mon souci : quand j'ai parl=E9 de synchronisme, je pensais et sous-entendais "synchronisme d'un neurone avec ses voisins", un param=E8tre qui entre aussi dans la r=E9alit=E9 dans la pond=E9ration de la somme.

Or en informatique et avec les RN "simples", ce param=E8tre est =E9clips=E9 et simplifi=E9 =E0 : tous les neurones sont synchrones. Ce qui n'est pas vrai en r=E9alit=E9 : il suffit de regarder un EEG.

certainement, mais depuis 1930 il y a eu =E9norm=E9ment de progr=E8s et d'affinages.

??? Les PDF que j'ai fourni parlent de "Spike-Timing Dependent Plasticity" et de leur apprentissage, cela ne veut pas dire que STDP /est/ un mod=E8le d'apprentissage.

Ensuite, chaque labo a d=E9velopp=E9 ses propres codes qu'ils refusent de r=E9v=E9ler, ce qui emp=EAche malheureusement l'=E9valuation effective de leur travaux. Encore un autre sujet tabou.

En tout cas je note dans memoire05.pdf : "Nous nous int=E9resserons =E0 une loi hebbienne, issue de la biologie, la Spike-Timing Dependent Plasticity, qui fait =E9voluer les poids des synapses selon le d=E9lai entre les temps de d=E9charge du neurone pr=E9-synaptique et du neurone post-synaptique." Ce n'est pas juste une m=E9thode d'apprentissage, on ne peut pas apprendre le temps =E0 un r=E9seau qui n'en a pas. Il s'agit donc bien d'un mod=E8le de r=E9seau qui n=E9cessite d'affiner la d=E9finition d'un neurone.

oui sinon tous les neurones de notre cerveau seraient identiques.

en tout cas j'ai bien lu : "l'apprentissage de s=E9quences"

"mais o=F9 sont donc les voitures volantes qu'on nous avait promis il y a 50 ans ?" :-)

merci de bien sp=E9cifier "r=E9seaux de neurones" au lieu de juste neurones. J'ai probablement =E9crit un peu trop rapidement mes derniers posts, ce qui ne signifie pas que j'ai pens=E9 qu'un seul neurone pouvait anticiper quoique ce soit.

la prochaine fois, on couplera nos r=E9seaux avec des algos g=E9n=E9tiques ? :-)

yg

--=20

ah donc j'avais zapp=E9 ce d=E9tail, il y a plusieurs op=E9rations : l'activit=E9 de d=E9clenchement des neurones (l'it=E9ration de l'application des sommations et fonctions de transfert)=

et l'activit=E9 de mise =E0 jour des poids de chaque couple neurone/synapse.

Moi je me suis int=E9ress=E9 surtout au premier, qui est la plupart du temps sursimplifi=E9 (d'o=F9 mon grief ;-)) alors que ce passage parle aussi de la 2=E8me =E9tape, qui est =E0 plusieurs =E9chelles de temps plus lentes (et =E0 plusieurs =E9chelles de temps, tout court, et contr=F4l=E9 par de nombreux m=E9canismes diff=E9rents).

Le fait de mettre =E0 jour tous les poids en m=EAme temps est encore (=E0 mon sens) une sursimplification.

Je veux dire par l=E0 que m=EAme si STDP =E9tait juste un mod=E8le d'apprentissage, les neurones sous-jacents ont n=E9cessairement le moyen de r=E9agir aux temps entre les impulsions, ce qui veut dire tout simplement que les neurones artificiels utilisant STDP ont une notion du temps "non discr=E8te" (ce n'est pas r=E9duit =E0 des it=E9rations simples).

Ensuite, s'ils sont plus ou moins efficaces que d'autres mod=E8les plus anciens, =E7a m'emb=EAte pas, tant que =E7a fait bien ce qu'on lui demande, et les techniques d'am=E9liorations sont tr=E8s nombreuses. Je reviendrai voir le r=E9sultat dans 10 ou 20 ans ;-)

re-yg

--=20

"Pascal06" a écrit dans le message de news:

Bonjour Pascal,

Il est possible de faire un mini équaliseur audio avec quelques ampli-op en boîtier SO et des potentiomètres numériques type MAX5471.

Bon courage,

Dan.

Encore plus simple à interfacer avec des boutons:

Dan.

On Feb 23, 2:14 am, whygee

Pardon ? D'apr=E9s ce que j'ai pu lire sur le thread concernant l'alim de LEDs sur le 220V, tu n'as pas l'air d'etre tr=E9s copain avec les =E9quations ? Tu dis toi-meme =AB j'ai trop peur de faire les calculs =BB C'est honn=E8te de ta part de l'avouer, mais alors que penser de ta critique du mod=E9le neuronal quand tu dis =AB je reste sur ma faim =BB et =AB =E7a me suffit pas =BB

Pour critiquer un syst=E8me d=E9crit par des =E9quations il faut au moins tenir compte de ces =E9quations, sinon la critique ne porte pas sur le syst=E8me mais sur ce que tu crois en avoir compris.

Bref, pour en revenir au sujet, c'est la meme chose que lors du passage de l'analogique au num=E9rique : dans les =E9quations le temps continu [t] est remplac=E9 par l'indice d'it=E9ration discret [n] tel que [ t =3D n.T ] avec [T] la dur=E9e =E9l=E9mentaire : tu vois bien que les indices [n] se r=E9f=E8rent au temps.

Quand on =E9crit U=3DR*I il n'est pas fait mention du temps, alors qu'on sait bien que la variation d/dt d'un param=E8tre entraine la variation des autres. Cela sous-entend U(t) =3D R(t) * I(t) mais on ne l'=E9crit pas comme ca justement parce-que c'est sous-entendu !

Mais chaque neurone du r=E9seau est bien en synchro avec tous ses voisins auxquels il est connect=E9.

Rogntudju, le fait que les calculs soient synchros ne signifie absolument pas que les =E9tats des neurones soient les memes !

Remarque qu'on pourrait tr=E9s bien r=E9aliser le calcul it=E9ratif

Ben si, le STDP est bien une loi d'aprentissage, relis ton papier (premi=E8re phrase de la page 3)

" comment utiliser une *LOI D'APPRENTISSAGE* locale issue " " de la biologie, la Spike-Timing Dependent Plasticity. "

Par ailleurs la STDP se classe parmi les lois de Hebb, et une loi de Hebb inclut bien le temps, une fois que tu as compris que le temps [t] est repr=E9sent=E9 par l'indice [n]. Et c'est le cas meme en dehors d'une impl=E9mentation STDP. (ci-joint la page 32 extraite de la doc que j'ai post=E9)

Rogntudju, tout r=E9seau de neurones a n=E9c=E9ssairement un temps [t] qui est celui de l'it=E9ration =E9l=E9mentaire [n].

Et alors ? Ce n'est pas parce-que les s=E9quences d=E9pendent du temps qu'un r=E9seau de neurones sera incapable de les trier : Pour que le r=E9seau reconnaisse une s=E9quence, il faut bien que celle-ci soit pr=E9sente sur son entr=E9e, ensuite l'=E9tat du r=E9seau va converger vers la solution. D'ailleurs dans un r=E9seau le param=E8tre d'apprentissage d=E9pend bien du temps, sinon cela ne convergerait jamais !

Regarde cette page extraite de la doc que j'ai post=E9

Rien de tabou, si cela t'int=E9resse vraiment il ne suffit pas de chercher sur Google ou Wiki, il faut lire les papiers publi=E9s dans la presse sp=E9cialis=E9e.

Bonjour Dan, et merci pour tes liens très interressant... Je ne savais même pas qu'il y avait des solutions tout intégrées (le deuxième circuit, l'Intersil)... Quelque part le progrès enlève le côté "créatif", bientôt un seul "composant" permettra de tout faire, même le café ;) A bientôt,

Pascal

"Dan NITA" a écrit dans le message de groupe de discussion :