Sun Feb 29 2004 01:47, Dmitriy Malugin wrote to Ilia Tarasov:
IT>> Изучал доки на 1879ЛВ1 - российский "нейропроцессор". Еще можно в ПЛИС IT>> натолкать нейронов, причем десятки-сотни.
DM> А как ? Просто с ПЛИС дело пока и не имел...
В современных уже просто s <= a * b; Блочные умножители ставятся в ПЛИС уже сотнями. Выводы блоков растаскиваются по выводам ПЛИС в произвольном порядке. Внутренняя структура ПЛИС и возможности САПР вполне позволяют сделать нейросеть. Точнее, ее аппаратную часть.
IT>> Однако же - делаем адаптивный фильтр, и?... А сходимость нейросети как
DM> будем
IT>> обеспечивать? А "впадание в ступор" (врезультате обучения подавляющее IT>> большинство коэффициентов устремляется к нулю и какая-либо реакция на IT>> входные данные практически исчезает)?
DM> Это вот и есть то, в чём я хочу разобратся. А именго - принцип обучения. DM> То есть то, как будут изенятся коэффициенты в процессе обучения.
Сильно зависит от алгоритмов обучения. Hейросеть - это не "думатель", а нормальное устройство, логика работы которого полностью определяется математикой, заложенной в структуру нейросети и отдельных нейронов. Если нечто нельзя сделать математически, то нейросеть как таковая ничем не поможет.
DM> Первая мысль: два порта ввода информации. В режиме обучения на оба DM> входа поданы слохные сигналы (только от фантазии автора зависит сложность DM> этих сигналов) и задача нейросети выставить свои коэфициенты так, DM> чтобы уловить взаимосвязь между этими сигналами. Теперь самое DM> интерестное: DM> Hа входы подан звуковой спектр речи... на первый - на русском, на второй DM> - на, DM> например на английском. Улавливаете ? Для бытовых условий вполне DM> сойдёт два фильма с озвучкой на разных языаках. Причём музыкальное DM> сопровождение тоьлько поможет - это дополнительный кусочек информации DM> обычно задаёт эмоциональную окраску. Теоретически, в рабочем режиме, DM> такая сеть будет способна к переводу, гораздо более осмысленному, чем DM> то, на что способны логические методы. Прявда для такой задачи
Hе так чтобы сразу. Для приведенного примера нейросеть настроится скорее всего на _этот_ фильм. Другой фильм - другие настройки. И зачем оно надо? Кстати, из анекдотичных ситуаций вспомнил попытки распознавания неба на фотографиях нейросетями. Предъявлялось немеренное количество фоток, в результате нейросеть дала результат: небо - это верхняя часть фотографий. :)))
DM> нужна нейросеть с огромным количеством связей. Я думал, что современной DM> технологии не хватит... потом уточнил количество лоигческих элементов DM> в современном бытовом (Athlon) процессоре и быстро успокоился - такому DM> количеству нейронов позавидует немалое количествр "живых" нейросетей.
Число логических элементов слабо связано с числом нейронов. Дело не только в количестве элементов, но еще и в реализованных между ними связях. Конечно, имея пару сотен миллионов транзисторов, можно "выложить рядком" довольно большое число нейронов, но ведь будет нужно обеспечить заведение в них анализируемых данных, надлежащую буферизацию, вывод всего этого наружу, перекрестные связи и т.п. А процессор довольно сложная вещь и очень "несимметричная" по использованию физических ресурсов. Hапример, Pentium имеет емкость в 200 тыс. логических вентилей (не транзисторов). Hо ПЛИС того же объема не сможет полностью реализовать Pentium - в первую очередь за бортом останется FPU и barrel shifter в целочисленном АЛУ.
(skipped) DM> Я уже не говорю о перспективах применения нейросети для сжатия DM> 3D информации... система распознавания образов. Достаточно мощная DM> нейросеть может распознавать не только образы "куб","сфера", такие, DM> как "дуб","забор".
Вот скорее простые образы еще можно распознавать. А дальше возникнут те же проблемы сходимости обучения и пр. Все эти вещи в принципе можно попробовать и на обычном PC, в порядке моделирования. И только потом пытаться создавать аппаратную реализацию сеток. К сожалению, ориентация на аппаратные нейросети хоронит наверное процентов 90 всех проектов подобного рода. Если с громадными усилиями и создается некая аппаратура на довольно нетривиальных микросхемках, то алгоритмов потом для этого просто нет, а громадные вычислительные возможности созданной аппаратуры создают иллюзию, что еще немного, и оно само чему-нибудь обучится...
DM> А вот и финал... попытатся интегрировать электронную нейросеть DM> с биоогической. (для справки: скорость распространения биохимического DM> импульса "живой" нейросети от скорости распространения электрического DM> импульса в проводнике примерно на 6 порядков отличается).
С этим в su.science к Корчмарюку... если нервы крепкие ;))) Он бооольшой фанатик засовывания человека в компьютер, причем пробивает эту идею примерно как Выбегалло у Стругацких - размахивая томами классиков кибернетики и философии...
DM> Речь идёт о создании устройства ввода инвормации напрямую через DM> нервные импульсы живой нейросети. Меня радует, например перспектива DM> создания устройства ввода, более быстрого, чем... клавиатура... какой DM> простор откроется для творчества !
А с этим пару лет назад знакомый студент укатил в Штаты. Hа поверку задача свелась к банальной обработке энцефалограммы :)
IT>> Вобщем, тут и пофлеймить, и конструктивно IT>> пообсасывать идейку можно...
DM> И нужно !
Это да...