Визуализация осциллограмм

Доброго времени, Dmitry!

Sunday May 24 2009 15:49, Dmitry Orlov wrote to All:

DO> А подскажите, чем можно смотреть вот такие вот файлы

Первые пять строчек срезаются любым текстовым редактором, оставшийся CSV-файл должен читаться любой программой работы с файлами данных. Да хоть экселем в конце концов, если ну совсем ничего под руками нет. Или задача в чём-то кроме банальной отрисовки осциллограмм?

DO> LECROYWR44Xi,13210,Waveform DO> Segments,1,SegmentSize,502 DO> Segment,TrigTime,TimeSinceSegment1 DO> #1,20-May-2009 14:43:11,0 DO> Time,Ampl DO> 0.05250844791,-0.029622 DO> 0.05250845791,0.130372 DO> 0.05250846791,-0.029622 DO> 0.05250847791,0.130372 DO> 0.05250848791,-0.029622 DO> ...

До связи! / dibr [TEAM ВСЕ МАСТДАЙ] [шестая базовая]

У него многомегабайтный файл.

Даже гнуплот загнулся, а он известен своей нетребовательностью к ресурсам.

Hello, Dmitry Radishev! You wrote in conference fido7.su.hardw.schemes to Dmitry Orlov on Sun, 24 May 2009 19:41:45 +0400:

DO>> А подскажите, чем можно смотреть вот такие вот файлы

DR> Первые пять строчек срезаются любым текстовым редактором, DR> оставшийся CSV-файл должен читаться любой программой работы с DR> файлами данных. Да хоть экселем в конце концов, если ну совсем DR> ничего под руками нет. DR> Или задача в чём-то кроме банальной отрисовки осциллограмм?

DO>> LECROYWR44Xi,13210,Waveform DO>> Segments,1,SegmentSize,502 DO>> Segment,TrigTime,TimeSinceSegment1 #1,20-May-2009 14:43:11,0 DO>> Time,Ampl DO>> 0.05250844791,-0.029622 DO>> 0.05250845791,0.130372 DO>> 0.05250846791,-0.029622 DO>> 0.05250847791,0.130372 DO>> 0.05250848791,-0.029622 ...

Проблема в том, что там по 10М строк данных в файлах, какой Exel? Какой текстовый редактор? Впрочем, доступны .dat файлы без заголовка и запятых, и просто бинарные.

dima

Octave, scilab, matlab.

Вообще-то мне, например, gnuplot известен как раз своей ресурсоёмкостью на большых объёмах. Помнится, на 40k точек требовал какие-то десятки метров памяти и вообще вёл себя неприличнро.

Hello, Ilya Anfimov! You wrote in conference fido7.su.hardw.schemes to Dmitry Orlov on Mon, 25 May 2009 08:14:54 +0000 (UTC):

DO>>>> А подскажите, чем можно смотреть вот такие вот файлы

DR>>> Первые пять строчек срезаются любым текстовым редактором, DR>>> оставшийся CSV-файл должен читаться любой программой работы с DR>>> файлами данных. Да хоть экселем в конце концов, если ну совсем DR>>> ничего под руками нет. DR>>> Или задача в чём-то кроме банальной отрисовки осциллограмм?

DO>>>> LECROYWR44Xi,13210,Waveform DO>>>> Segments,1,SegmentSize,502 DO>>>> Segment,TrigTime,TimeSinceSegment1 #1,20-May-2009 14:43:11,0 DO>>>> Time,Ampl DO>>>> 0.05250844791,-0.029622 DO>>>> 0.05250845791,0.130372 DO>>>> 0.05250846791,-0.029622 DO>>>> 0.05250847791,0.130372 DO>>>> 0.05250848791,-0.029622 ...

IA> Octave, scilab, matlab.

Посмотрю (кроме матлаба, его видел и это не то), но на первый взгляд это все на другое заточенный софт. Мне бы найти какой-нибудь софт от PC-based осциллографов, АЦП, но умеющий с файлами и без этого железа работать. Я пока что подходящий не нашел, и собственно родной лекроевский без железа не запускается. Поставил national Instruments signal explorer, но тоже или не разобрался с тем как им пользоваться, или он не умеет того, что мне нужно. Попробовал еще Origin, он работает и график рисует, но быстрого и удобного способа сделать ему zoom я не нашел.

dima

Hа самом деле matlab -- это как раз самое то, поставлен последним исключительно потому, что дорогой.

Впрочем да, с твоими руками...

Да, подумав: начать лучшэ с scilab -- в octave бэкэндом рисовалки именно gnuplot, ему на миллионах точек плохеет. Hу, не то, чтобы совсем плохеет, 10M минут за 5 нарисует, конечно -- но всё это неприятно. Так что там лучшэ фильтр писать и всё такое.

Hello, Ilya Anfimov! You wrote in conference fido7.su.hardw.schemes to Dmitry Orlov on Mon, 25 May 2009 10:19:43 +0000 (UTC):

DO>>>>>> А подскажите, чем можно смотреть вот такие вот файлы

DR>>>>> Первые пять строчек срезаются любым текстовым редактором, DR>>>>> оставшийся CSV-файл должен читаться любой программой работы с DR>>>>> файлами данных. Да хоть экселем в конце концов, если ну совсем DR>>>>> ничего под руками нет. DR>>>>> Или задача в чём-то кроме банальной отрисовки осциллограмм?

DO>>>>>> LECROYWR44Xi,13210,Waveform DO>>>>>> Segments,1,SegmentSize,502 DO>>>>>> Segment,TrigTime,TimeSinceSegment1 #1,20-May-2009 14:43:11,0 DO>>>>>> Time,Ampl DO>>>>>> 0.05250844791,-0.029622 DO>>>>>> 0.05250845791,0.130372 DO>>>>>> 0.05250846791,-0.029622 DO>>>>>> 0.05250847791,0.130372 DO>>>>>> 0.05250848791,-0.029622 ...

IA>>> Octave, scilab, matlab.

IA> Hа самом деле matlab -- это как раз самое то, поставлен последним IA> исключительно потому, что дорогой.

Это именно что не то. То, это тот софт, что работает в скопе, но он без скопа работать не хочет. А ставить [дорогого] монстра, чтобы просто посмотреть картинки, причем наверняка это придется хоть минимально, но программировать я не хочу, тем более, что мне нужно, чтобы этим не только я мог пользоваться.

IA> Впрочем да, с твоими руками...

И что не так с моими руками?

IA> Да, подумав: начать лучшэ с scilab -- в octave бэкэндом рисовалки IA> именно gnuplot, ему на миллионах точек плохеет. Hу, не то, чтобы IA> совсем плохеет, 10M минут за 5 нарисует, конечно -- но всё это IA> неприятно. Так что там лучшэ фильтр писать и всё такое.

gnuplot на 10М пишет out of memory, а мне, вообще-то, 4 канала смотреть нужно.

dima

То, что в матлабе это действительно просто. Грузишь -- затем рисуешь. Грузишь одной командой побольшэ, рисуешь одной совсем простой.

?!? Где вы такое берёте? У меня 10M за 3 минуты отрисовал. А формат вообще правильный? Hа десятке строк проверяли? А то можэт оно там что-нибудь другое читает?

Hello, Ilya Anfimov! You wrote in conference fido7.su.hardw.schemes to Dmitry Orlov on Mon, 25 May 2009 13:14:42 +0000 (UTC):

DO>>>>>>>> А подскажите, чем можно смотреть вот такие вот файлы

DO>>>>>>>> LECROYWR44Xi,13210,Waveform DO>>>>>>>> Segments,1,SegmentSize,502 DO>>>>>>>> Segment,TrigTime,TimeSinceSegment1 #1,20-May-2009 14:43:11,0 DO>>>>>>>> Time,Ampl DO>>>>>>>> 0.05250844791,-0.029622 DO>>>>>>>> 0.05250845791,0.130372 DO>>>>>>>> 0.05250846791,-0.029622 DO>>>>>>>> 0.05250847791,0.130372 DO>>>>>>>> 0.05250848791,-0.029622 ...

IA>>>>> Octave, scilab, matlab.

IA>>> Hа самом деле matlab -- это как раз самое то, поставлен последним IA>>> исключительно потому, что дорогой.

IA>>> Впрочем да, с твоими руками...

IA> То, что в матлабе это действительно просто.

Совсем просто (и правильно) это в самом скопе, выбираешь в меню recall waveform, грузишь выбранный файл в выбранный memory, и все. Дальше хоть мышкой выделяешь интересующий кусок и получаешь зум, причем синхронно всех каналов. Hемного подтормаживает на загрузке, но не сильно, правда с бинарным форматом. Текстовые он и не грузит и сохраняет долго, но это и понятно, там по 250 мег каждый канал получается. Вот такого типа софт я и ищу, никакая матобработка мне пока что не нужна, а скорее всего и не понадобится, если понадобится - тогда другое дело. Правда для математических задач я Mathematica пользуюсь, но это уже отдельная тема.

IA> Грузишь -- затем рисуешь. IA> Грузишь одной командой побольшэ, рисуешь одной совсем простой.

Для начала, этот нехилого размера софт еще поставить надо, крякнуть (не покупать же в самом деле), разобраться как это делать. Кому угодно не передашь файлы на посмотреть, а мне главным образом это и нужно. Кстати, а зум матлаб умеет? SciLab умеет, правда как в него мои файлы грузить я сходу не нашел и умеет ли он с этим работать я не знаю, но в его графическом окне зум есть. Как зумить в gnuplot я не знаю, разве что давать команду отрисовать кусок данных, что вообще-то говоря, неприемлимо. Искать интересующее место надо визуально.

IA>>> Да, подумав: начать лучшэ с scilab -- в octave бэкэндом рисовалки IA>>> именно gnuplot, ему на миллионах точек плохеет. Hу, не то, чтобы IA>>> совсем плохеет, 10M минут за 5 нарисует, конечно -- но всё это IA>>> неприятно. Так что там лучшэ фильтр писать и всё такое.

IA> ?!? Где вы такое берёте? У меня 10M за 3 минуты отрисовал.

Что именно "такое"?

IA> А формат вообще правильный? Hа десятке строк проверяли?

Формат правильный (я проверял не на csv, а на .dat, кажется это именно матлабовский, там нет заголовка и данные разделены пробелом), на сохраненном в том же формате зуме со скопа я gnuplot проверял, рисует. А вот с полными данными:

gnuplot>> plot 'c1.dat' out of memory for expanding curve points

IA> А то можэт оно там что-нибудь другое читает?

Hичего другого в файле нет, ну а что он читает - хрен его знает.

dima

Hello, Dmitry Orlov! You wrote in conference fido7.su.hardw.schemes to Ilya Anfimov on Mon, 25 May 2009 14:13:56 +0000 (UTC):

DO> нужно. Кстати, а зум матлаб умеет? SciLab умеет, правда как в него DO> мои файлы грузить я сходу не нашел и умеет ли он с этим работать я DO> не знаю, но в его графическом окне зум есть. Как зумить в gnuplot я DO> не знаю, разве что давать команду отрисовать кусок данных, что DO> вообще-то говоря, неприемлимо. Искать интересующее место надо DO> визуально.

Hашел как в gnuplot делать зум, правда как его обратно делать не нашел, впрочем от этого не легче...

dima

Кнопочку h нажать не пробовал?

Вал. Дав.

У меня гнуплот без проблем показывает 10000000-точечный файл (160 метров на диске), жрет при этом около 300 метров виртуальной памяти. А надо сколько?

Вал. Дав.

Hello, Valentin Davydov! You wrote in conference fido7.su.hardw.schemes to Andrew O. Shadoura on Mon,

VD> У меня гнуплот без проблем показывает 10000000-точечный файл (160 VD> метров на диске), жрет при этом около 300 метров виртуальной памяти. VD> А надо сколько?

dima

Гнуплот у тебя падает.

Так дай ему столько виртуальной памяти, сколько просит. Гига 4 рамы и еще десяток гигов свопа, память нынче дешевая. Hу, подождешь немного пока просвопится, все лучше, чем матлаб крякать.

Вал. Дав.

P.S. Хотя я бы в таких объемах плевел искал зерна скриптом, а не глазами.

А у меня в своп-таки полез (машинка старая, памяти всего 1 гиг), но показал в конце концов все 4 файла разом.

G N U P L O T Version 4.2 patchlevel 4 last modified Sep 2008 System: FreeBSD 6.2-STABLE

Copyright (C) 1986 - 1993, 1998, 2004, 2007, 2008 Thomas Williams, Colin Kelley and many others

Может, ты его на 32-битной системе запускаешь?

Вал. Дав.

Hello, Valentin Davydov! You wrote in conference fido7.su.hardw.schemes to Dmitry Orlov on Mon, 25 May 2009 15:22:17 +0000 (UTC):

IA>>> Впрочем да, с твоими руками...

VD> Гнуплот у тебя падает.

Он не падает, он out of memory говорит.

IA>>> Да, подумав: начать лучшэ с scilab -- в octave бэкэндом рисовалки IA>>> именно gnuplot, ему на миллионах точек плохеет. Hу, не то, чтобы IA>>> совсем плохеет, 10M минут за 5 нарисует, конечно -- но всё это IA>>> неприятно. Так что там лучшэ фильтр писать и всё такое.

VD> Так дай ему столько виртуальной памяти, сколько просит. Гига 4 рамы

Где он просит и кто ему не дает? И зачем ему нужны гиги памяти для 10 мегов данных?

VD> и еще десяток гигов свопа, память нынче дешевая. Hу, подождешь VD> немного пока просвопится, все лучше, чем матлаб крякать.

Лучше или найти подходящий софт, или плюнуть и пользоваться скопом.

VD> P.S. Хотя я бы в таких объемах плевел искал зерна скриптом, а не VD> глазами.

Глазами видней, тем более, что после того, как место найдено, нужно отмотать назад и попытаться понять что же к этому привело.

dima

Hello, Valentin Davydov! You wrote in conference fido7.su.hardw.schemes to Dmitry Orlov on Mon, 25 May 2009 15:58:25 +0000 (UTC):

VD>>> У меня гнуплот без проблем показывает 10000000-точечный файл (160 VD>>> метров на диске), жрет при этом около 300 метров виртуальной VD>>> памяти. VD>>> А надо сколько?

VD> А у меня в своп-таки полез (машинка старая, памяти всего 1 гиг), но VD> показал в конце концов все 4 файла разом.

VD> G N U P L O T VD> Version 4.2 patchlevel 4 last modified Sep 2008 VD> System: FreeBSD 6.2-STABLE

VD> Copyright (C) 1986 - 1993, 1998, 2004, 2007, 2008 VD> Thomas Williams, Colin Kelley and many others

VD> Может, ты его на 32-битной системе запускаешь?

Да, на 32хразрядной, и что? Это ж как надо писать программы, чтобы для отображения, даже не обработки, каких-то 4*10М данных были нужны 64 разряда и гигабайты ОЗУ? Я такие задачи 15 лет назад в 16ти разрядах и 640к ОЗУ решал.

dima

-->u = mopen( "/tmp/1.file", "r" );

-->u u = 1.

-->rtxt = mfscanf( 5, u, "%[^\n]\n" );

-->rtxt rtxt = !LECROYWR44Xi,13210,Waveform ! ! ! !Segments,1,SegmentSize,502 ! ! ! !Segment,TrigTime,TimeSinceSegment1 ! ! ! !#1,20-May-2009 14:43:11,0 ! ! ! !Time,Ampl !

-->rdata=mfscanf( -1, u, "%f,%f\n" );

-->rdata rdata = 0.0525084 - 0.029622 0.0525085 0.130372 0.0525085 - 0.029622 0.0525085 0.130372 0.0525085 - 0.029622

В gnuplot справка выдаётся по команде h. Масштабировать -- левой кнопкой.

gnuplot, который падает на out of memory. Hу или комп, на котором gnuplot и так далее. Да, у меня -- 4.2.2, стандартный из Debian 5.0

Кстати, без заголовка и с пробелом в scilab грузится ещё естественнее.

Хреново. Попробуй plot "c1.dat" with points pointtype 0 pointsize 1