Filtrare spam audio ?

Una delle cose che annoiano di piu' della pubblicita' televisiva e che (da un po' di tempo a questo parte) su varie reti e' impostata con un volume piuttosto alto. A tal punto, che di sera, se si vive in un condominio, si e' costretti a fare un salto per abbassare il volume. Infatti in questa calda estate, con tutte le finestre spalancate non e' molto cortese sparare, magari dopo le 23:00 uno spot pubblicitario a tutto volume. Naturalmente quando riprende il film, si deve rialzare il volume per capire il parlato.

Molti sapranno che, in svariati programmi di posta elettronica (come Thunderbird) esiste la possibilita' di filtrare lo spam in automatico con un sistema in cui si insegna gradualmente al programma quale e' lo spam, semplicemente marcandolo come tale. Con il passare del tempo, il programma riconosce una "struttura" caratteristiche nelle email di tipo spam e le filtra senza ulteriori interventi. Notare che il sistema e' altamente flessibile. Percui se per me una documento e' spam, esso viene segnalato come tale, se invece per un'altro lo stesso documento non e' spam, egli non lo segna ed il programma lo lascia passare.

Il riconoscimento non avviene tramite analisi della semantica delle parole (ci vorrebbe un'AI), ma tramite un qualcosa di equivalente ad una analisi "spettrale" del testo. Mi domandavo se e' possibile fare qualcosa di equivalente anche con i suoni, con un programma che analizzi l'input audio, ricavandone lo spettro, e la possibilita' di segnalare quale "input" e' spam, ops, volevo dire pubblicita' :-) In questo modo, il programma potrebbe controllare l'audio ed attivare il muting ogni volta che la "pubblicita'" esplode. Escluderei invece un banale controllo del volume (AGC ?) perche' anche durante un film si possono avere momenti di suoni rumorosi, ma non disturbano (almeno l'ascoltatore) quanto la pubblicita' a tutto volume).

Pekilan

Reply to
Pekilan
Loading thread data ...

Pekilan ha scritto:

Al max si può fare un compressore... Credo...

Reply to
Er Palma

Scusa se ho tagliato tutto...:D Ci vorrebbe un algoritmo mostruoso, e mostruosamente aggiornato con i testi delle pubblicità perchè se ci pensi bene, il testo di una pubblicità è del tutto compatibile con un normale discorso..Con quale criterio l'AI riconoscerebbe il "compra" detto da un attore dal "compra" detto dalla voce di una pubblicità? Piuttosto come è stato già detto si potrebbe usare una soluzione tipo compressore, oppure implementare un sistema di auto-livellamento del segnale tramite un DSP. Queste sono le prime idee..Speriamo si faccia vivo qualcun altro, perchè sento anche io questo problemone..!!!! ciaociao Stefano

Reply to
Stefano

Non, nessun testo, stiamo scherzando ? Conversione parlato-testo in tempo reale ? Lasciamo perdere :-) Volevo dire analisi spettrale dei suoni. Lo spettro dei suoni nel tempo di una pubblicita' ha sicuramente delle strutture tipiche che lo differenziano dallo spettro di un film.

Nessuna AI, ci vorrebbe oltretutto un calcolatore troppo potente, visto che dovrebbe fornire i risultati in tempo reale.

Meglio che bazzichi su Google e ti informi su come funziona il filtro di posta elettronica. L'AI sei tu. Non il programma che non e' piu' complicato del gestore di una lavatrice.

Sono sistemi che "corrompono" la qualita' audio durante l'ascolto del film. Da scartare. Punto. (almeno per me)

Pekilan

Reply to
Pekilan

Er Palma wrote:

Va bhe', mi soprende (tutti e due usate Thunderbird), ma sembra che non sappiate come funziona il filtro anti-spam di Mozilla.

Thunderbird usa un metodo di filtrazione che si chiama bayesiana per classificare la posta di roba da rifiuto (junk = lo spam :-), che è un sistema che richiede un certo grado di intervento dell'utente e l'addestramento. L'intelligenza e' fornita quindi dall'utente. Ed e' per questo che e' altamente personalizzato. Infatti ogni utente prende le decisioni che saranno ovviamente diverse da persona a persona. Non so quanto sofisticato dovrebbe essere un'AI per arrivare a questi livelli di personalizzazione (una specie di fedele maggiordomo ?).

Per addestrare Thunderbird a sarchiare (setacciare :-) fuori lo Spam, dovete contrassegnare manualmente i messaggi come roba da rifiuto (cioe' indicandolo come Junk), cliccando l'icona di Junk o andando ad archiviare nella cartella di Junk. Ma il fattore importante e' di ricordarsi di andare nella cartella di Junk e contrassegnare i vostri "buoni" messaggi cliccando sul segnalatore di Junk (in pratica un falso SPAM). Ogni volta che fatte queste operazioni, il programma analizza con metodi matematici (statistici, non AI), quale email sono mandate da VOI (la vostra intelligenza) nella cartella di Junk e quali messaggi sono stati erroneamente mandati nella cartella di Junk (e che VOI, cioe' la vostra intelligenza) recupera. Gradualmente noterete che il numero di massaggi di SPAM (cioe' sgraditi, inclusi quelli del cugino rompiballe e scroccone) che trovate nella vostra cartella di arrivo diminuisce fino a raggiungere livelli praticamente nulli ed i messaggi erroneamente mandati nella cartella di Junk si riducono anche a zero. Questo "addestramento" in ambedue i sensi vi fornisce una percentuale migliore che lo Spam (e solo quello) sia bloccato. All'inizio, proprio perche' non c'e' una AI, dovete lavorare un po', ma con il passare del tempo il vostro intervento si riduce al minimo. E' un po' come avere un'apprendista. All'inizio vi fa perdere un mucchio di tempo per magari non sta neanche svitare una vite. Finito il tirocinio gli lasciate anche la chiave dell'officina quando andate in ferie ;-)

Per il destinatario, lo Spam è facilmente riconoscibile. Se assumeste qualcuno per leggere la vostra posta e per scartare lo Spam, avrebbero poca difficoltà a farlo. Ma quanto dobbiamo fare, senza mettere una improbabile (ad oggi) IA, per automatizzare questo processo ? A prima vista non c'e' nulla da fare. In realta' il problema si puo' risolvere con procedure ragionevolmente semplici. Infatti potete filtrare passabilmente lo Spam usando nient'altro che una combinazione bayesiana delle probabilità dello Spam di diverse parole. Il sistema statistico non e' altro che la sofistificazione di un semplcie approccio che consiste nello scartare posta che parla di "affaroni", "prezzi incredibili", "offerte straordinarie", e magari inizano sempre con "caro amico" per non parlare di "viagra" ed una lunga lista di termini sessuali. E viene anche incluso l'indicazione di grassetto, sottolineatura, il colore del testo. etc. Il metodo statistico ha il vantaggio di evitare i rifiuti impropri, ad esempio il cestinamento di una lettera di un vostro amico che menziona la parola "viagra". Infatti lo Spam non viene riconosciuto per i singoli elementi, ma per come sono combinati su base statistica.

Ora mi domanda, perche' non fare lo stesso con i suoni ? Non ci interessa il significato del messaggio pubblicitario, ci interessa la modalita', con repeentini cambiamenti, parlatina spesso rapida, voci suadenti o esaltate, insomma tutto quell'insieme di "combinazione" di suoni che quando lo ascoltate vi fa pensare in pochi attimi: "questa e' una pubblicita'". Il problema e' simile allo Spam. In pochi istanti, al 99% so riconoscere a colpo d'occhio una email di spam ed allo stesso modo, in pochi secondo, al

99% (ma forse un po' meno, diciamo all'80%) che una trasmissione e' di pubblicita'. Perche' ? Perche' ci sono alcuni tratti caratteristici. Ora e' vero che i produttori di Spam hanno preso contromisure, inserendo nei loro testi pezzi di racconti letterali (qualcuno di voi si era domandato come mai ? :-) che essendo neutri dal punto di vista dello Spam, mettono in difficolta' il filtro (ma non per molto, dopo alcuni settimane di segnalazioni al programma, impara anche questi). Questo approccio e' stato gia' preso dai pubblicitari per "imbrogliare" un'altro filtro, la distrazione umana. Infatti alcune pubblicita' sono veramente godibili (e probabilmente non vi interessa filtrare). Perche' ?

Tornando a noi, analizzando in modo matematico/statistico lo spettro dei suoni dovrebbe essere possibile riconoscere delle differenze tra la pubblicita' ed un film. Esattamente come la nostra mente (senza capire il significato) e' in grado di riconoscere una pubblicita' anche se in lingua straniera, fosse anche in russo o cinese (chi ha il satellitare provi a fare un po' di zapping e lo verifichi di persona ;-) E' ovvio che in un film possono esserci anche degli spot pubblicitari che fanno parte del racconto, ma la "perfezione" richiederebbe appunto ... un'AI. Ma visto che il filtro email sembra funzionare cosi' ragionevolmente bene, perche' non avere lo stesso per la TV ?

Pekilan

Reply to
Pekilan

Tempo fa avevo sentito di appositi apparecchi in grado di registrare un programma tagliando la pubblicità. Credo si basassero sul fatto che le emittenti ma larcano in qualche modo e l'apparecchio le filtra. Basterebbe avere piu' info su questo metodo e applicarlo per abbasare solo l'audio.

Il mio registratore si autoprogramma semplicemente inserendo un codice che si trova nella guida tv, non l'ho quasi mai usato perchè non ho voglia di cercarlo nella guida ^_^ Ciao ciao

Gnafu

Reply to
Gnafu

Dunque... secondo me basterebbe un rivelatore di inviluppo, un trigger di shmitt ed un timer che abbassi l'audio dopo 10 ~ 15 secondi di audio fuori soglia. Che ne dite?

Reply to
<andreafrigo

Interessante. Che e' un rivelatore di inviluppo ? (classica domanda del softwarista al hardwarista, e gia' che ci siamo di picco, quasi picco o di media ;-)

Pekilan

Reply to
Pekilan

Lo schema è identico per tutti.

[FIDOCAD] MC 110 55 1 0 080 MC 95 55 1 0 170 MC 65 55 0 0 200 LI 80 55 110 55 LI 110 65 95 65 LI 95 65 65 65 LI 110 55 130 55 LI 110 65 130 65 SA 95 55 SA 95 65 SA 110 55 SA 110 65 TY 130 50 5 3 0 0 0 * OUT TY 60 50 5 3 0 0 0 * IN

Quel che cambia sono le costanti di tempo. Piccola per il rivelatore di inviluppo, più elevata per il rilevatore di quasi picco, più elevata ancora per il rivelatore di media. Il rivelatore di inviluppo serve per seguire esattamente la forma dei picchi del segnale. Il rivelatore di quasi picco è molto utile nell'analisi della compatibilità elettromagnetica perché dà un'indicazione più elevata per un segnale che si ripete, anche se di intensità modesta mentre dà un'indicazione bassa ad un picco che dura poco. Se ci pensate disturba più un ronzio costante di un fischio occasionale. Il rivelatore di media serve per misurare il valor medio di un segnale.

Reply to
<andreafrigo

Un po' come il bollettino del traffico per le stazioni radio che usano l'RDS, però usato al contrario (nelle autoradio passa alla radio se durante l'ascolto di CD o cassette c'è un notiziario).

Dubito però che le emittenti TV si mettano a marcare così la pubblicità, a meno che non vengano costrette a farlo da qualche legge. Se fosse così infatti, apparecchi del genere sarebbero la norma, e a rimetterci sarebbero le emittenti stesse.

Tempo fa piuttosto, mi è capitato di sentire una radio che abusava del segnale del bollettino del traffico, la radio commutava infatti un po' prima che iniziasse il bollettino per tornare alle cassette dopo almeno uno spot.

Reply to
Massimo Arcari

Dubito che funzioni una cosa del genere, sono troppo varie le pubblicità, e ancor più vari sono i film.

Reply to
Massimo Arcari

wrote

ancora

forse potrebbe servire osservare come si comporta il livello audio durante la transizione film/pubblicita' e viceversa... puo' darsi che vi sia una caduta brusca a (verso) zero, mentre durante la regolare trasmissione il livello no va mai a zero anche durante i silenzi?

ciao, Piero

Reply to
Gatto Murr

"Gnafu" ha scritto nel messaggio news:rduGe.26212$ snipped-for-privacy@news4.tin.it...

Esatto, mi pare che questo standard sia entrato in vigore negli anni 90. L'inizio degli spot viene segnalato e rilevato attraverso l'emissione di un subtono. Tuttavia le emittenti italiane non sono state obbligate per legge (e quando mai..), quindi la predisposizione su tanti apparecchi VCR è di fatto inutilizzata.

bye!

Reply to
tetra-hub

se trovate il sistema di abbassare il volume durate la pubblicità (idividuandola) si potrebbe anche usare un sistema per eliminarla visivamente o cambiare canale o mettere in pausa la registrazione del film. Una soluzione potrebbe essere quella di normalizzare l'audio in modo da rendere il volume costante Si potrebbe realizzare con questa logica: un microfono che valuta il rumore ambiente se si supera la soglia invia alla tv (come se fosse un telecomando) il comando di alzare il volume o al contrario di abbassarlo. C'è un altra cosa di cui tenere conto l'orecchio umano sente meglio alcune frequenze di altre percui un basso a 25 Hz lo sentiremo come un medio a

10000Hz solo se molto amlificato. Questo per dire che le pubblicità oltre ad alzare il volume usano frequenze ben udibili che fanno sembrare il divario di volume ancora + alto
Reply to
Davide

Un bel giorno, Pekilan ebbe l'ardire di profferire:

Senti pekilan, se sei in vena di sparare ca%%ate o trollare basta che fai un fischio.

--
IBM: Infernal Biggest Mistake
News 2000 [v 2.06] - http://www.akapulce.net/socket2000
Reply to
Due di Picche

Un bel giorno, ebbe l'ardire di profferire:

Basta un banale limiter audio. Tutto ciò che va al di sopra di una certa soglia regolabile viene drasticamente riportato al valore soglia. In questo modo non c'è più bisogno di correre ad abbassare l'audio durante la pubblicità e rialzarlo al termine.

--
Old programmers never die; they just branch to a new address.
News 2000 [v 2.06] - http://www.akapulce.net/socket2000
Reply to
Due di Picche

Il metodo statistico funziona proprio quando si applica su una varieta' di situazioni. Esempio, 100'000 elettori, ognuna con i suoi pensieri, aspirazioni, problemi, riportati ad un semplice numero percentuale: vota o non vota per il partito X ?

Uno spam (specialmente oggi) e' molto diverso uno dall'altro, come anche le email che si ricevono. Eppure il filtro bayesiano funziona (su circa 200 SPAM giornaliere ne passa una o due).

Per favore, chi crede che la cosa non si possa fare si astenga dal partecipare. Non apporta nulla alla discussione e sicuramente le innovazioni non sono frutto del pensiero degli scettici.

Pekilan

Reply to
Pekilan

Confermo che la pubblicit=E0 =E8 trasmessa circa 4...6dB pi=F9 alta del programma. A rendere ancora pi=F9 urtante la pubblicit=E0 contribuisce inoltre una esasperata elaborazione del segnale audio per aumentarne la densit=E0 (rapporto tra la il livello rsm pesato e il livello di picco).

Per registrare i film senza la pubblicit=E0 qualche anno fa ho letto (mi sembra elektor inglese) di un sistema basato sul fatto che durante la pubblicit=E0 le emittenti tolgono il logo (ma non tutte e non con precisione). In sostanza il sistema analizza il segnale video campionando alcuni punti dell'area dove c'=E8 il logo e li confronta con una firma. Un sistema analogo si potrebbe forse fare riconoscendo le bande nere nella parte superiore e inferiore dello schermo che spesso compaiono nei film per adattare il rapporto d'aspetto.

Confermo inoltre che esistono programmi specializzati che "ascoltando" l'audio delle emittenti radiotelevisive certificano il tipo di programma. Con l'addestramento riconoscono i singoli brani musicali e il singolo spot.

Ciao.

lucky

Reply to
lucky

Pekilan ha scritto:

Mmm...Entrambi rispondono alla lingua italiana, non hanno delle strutture tipiche, o un linguaggio molto diverso dal normale parlato.. Io comunque non parlavo di conversione voce-testo, ma proprio per quello che ti ho detto bisognerebbe riconoscere il testo preciso della pubblicità..

I DSP sono usati proprio per questo (limitatamente all'audio per quanto ne ho potuto sperimentare)

Ma cosa c'entra il filtro di posta elettronica, qui non si parla di oggetto dell'e-mail, ma di linguaggio, puro e semplice suono. E' lì la chiave..

Beh, non puoi fare certo questo discorso con l'audio trasmesso dalla televisione, che non è certo di qualità. E comunque una conversione A/D e D/A con un DSP non ne comprometterebbe in maniera apprezzabile le caratteristiche. Sono fatti apposta!

Stefano

Reply to
Stefano

Ancora non hai capito (non e' per offenderti ma per rimandarti al post dove do' una spiegazione alla carlona di come funziona il filtro spam). Non ha importanza in che lingua, non si analizza neanche solo il parlato, ma tutto l'insieme audio. In altre parole, NON SI FILTRA l'audio, si prende tutto insieme, musichette e parlato, fosse anche cinese, e come ovvio non ha alcuna importanza la semantica.

I primi approcci per combattere lo spam si basavano sul "conoscere il testo preciso" e scartare le email con certe frasi. Ma i produttori di Spam sono diventati sempre piu' sofisticati e questo metodo di "conoscenza precisa" e' semplicemente rimasta schiacciata dalla mole di testi diversificati da analizzare. Inoltre quando parliamo di spam, parliamo di centinaio di email al giorno, ci vuole anche una certa potenza di calcolo per una "conoscenza precisa". L'approccio statistico, che bene si addatta ai grandi numeri, bypassa completamente il "testo preciso", e lascia la decisione a chi usa il filtro. Tu dici al programma: "filtra questo". Il programma memorizza una sequenza numerica ricavata da quell'email con una serie di calcoli. Ogni volta che un'altra email riproduce la stessa sequenza numerica, non importa quale "testo preciso" lo scarta. Ed in questa sequenza numerica e' incluso il tipo di carattere, la presenza di grassetto, eventuali colori, etc. cioe' di tutto meno che il "testo preciso". E funziona. Trattando

200-300 email in 4-5 secondi con un vecchio K7.

Per calcolare inviluppo, convoluzione, spettri etc. puo' essere necessario un DSP solo se si ha bisogno di particolare "qualita'", ma non escludo che una precisione "grossolana" sia gia' sufficiente. Dopotutto a noi bastano pochi secondi per riconoscere una buona parte delle pubblicita'.

I primi filtri di posta elettronica facevano quello che dici tu, analisi della semantica (l'equivalente del tuo "parlato"). Ma non si sono rilevati adeguati. Per fare una prafrasi (che non c'entra con l'argomento) tu sei rimasto all'analogica stereo, oggi si riproduce i suoni con una fedelta' (apparente per il nostro cervello) superiore con una banda ridicola. Dalla Dolby in poi si sono accorti di una immensa quantita' di rindondanza, che eliminata riduce il problema a poca roba. Lo stesso qui: non c'e' bisogno di analizzare il parlato, il metodo statistico funziona anche con lingue che non si conoscono, come il cinese o il russo. Il tuo metodo presuppone di conoscere la lingua e poi richiede troppa "intelligenza".

Infatti sospetto che anche un DSP e' sprecato, basta un programma.

Pekilan

Reply to
Pekilan

ElectronDepot website is not affiliated with any of the manufacturers or service providers discussed here. All logos and trade names are the property of their respective owners.