200MB/s na dysk - mozliwe?

Marcin Lipinski napisał(a):

Ja uzywam ICH8R (para z czipsetem intela P965):

- 2 dyski 200GB seagate 7200.10 (zapis prostopadly) raid0 - read max

130MB/s, srednio 114MB/s, minimalnie 70MB/s (na koncu pojemnosci

- 4 dyski 80GB seagate 7200.10 raid5 - read max 240MB/s, srednio

200MB/s, minimalnie 160MB/s na koncu pojemnosci. Tylko ze to sa dane _read_ a ciebie interesuje zapis - bedzie pewnie conajmniej o 20-30% wolniejszy Kres możliwości tego czipu to chyba 6 albo 8 dyskow, zapiety jest wprost do czipsetu wiec wydajnosc raczej nie bedzie problemem.

60 sekund to 12GB .... duzo, bardzo duzo danych, moze je kompresowac w locie ??

Marcin Lipinski napisał(a):

sieć SAN (lub p-to-p) Fiber Channel, kodowanie 8/10 to z 2Gib/s masz wlasnie 200MB/s i jakas macierz clariion, fas, xp (hp), shark (ibm).

IMO najlepsze bedzie PC jak juz to zostalo wspomniane do tego wydajny kontroler RAID na PCI-E np HighPoint RocketRAID 2322 + macierz 6 - 8 dyskow w RAID 0

alternatywne kontrolery to:

?segment=RAID%205%20HBAs&product_id=167 musisz pamietac ze jeden lane na PCI-E to 150MB czyli potrzebujesz kontroler co najmniej z 2 LANE'ami - ale lepiej zainwestowac ciut wiecej i brac taki na 4 albo 8 - do tego kilka dyskow pamietajace ze na koncu dysk ma ok 60% wydajnosci z poczatku - powiedzmy ze jednej dysk bedzie mial pod koniec ok 40MB czyli rozsadnie co najmniej 5 dyskow a by miec pewnosc ze sie nic nie powali to bralbym 6 - 8

Do tego Linux i za niewielkie pieniadze mozna sie cieszyc przywoita wydajnoscia...

(naprawde za 3000$ trudno trafic cos taniej i do tego z oprogramowaniem niezlej jakosci gotowe do odpalenia)

A co jest źródłem danych?

Strip na przynajmniej 6 dysków. Biblioteka zewnętrzna scsi z dyskami sata. Wydatek minimum 2000zł za sam kontroler. Zapytaj na p.c.o.l.sprzet o szczegóły.

zyga

To na pewno nie bedzie latwe :-)

To ma byc zewnetrzny strumien ? Moze jednak niezalezny kontroler/rozdzielacz - czarna skrzynka z interfejsami do kilku dyskow .. pamieci buforowe obawiam sie beda musialy byc.

J.

mzoe FPGA i kilka HDD podpietych bezposrednio i ladowac im surowe dane - to sie da prosto zrobic. Potem w zwolnionym tepie, np przez USB2.0 czytac porzadkujac w locie.

z daleka te dane trzeba slac? bo moze karta 10G ethernet jako link

zapis do pamieci moze byc przydatny jako maly bufor gdyby te w HDD sie nie wyrabialy

wszystko zalezy do czego to ma byc.

Czy wszystkie dane sa interesujace? moze na poczatku dac tryger, ktory bedzie wstepnie je sortowal, odrzucajac np 90 % tych co nie niosa uzytecznych informacji

np z detektora czastek wychodzi np. 400,000 kanalow, kazdy nadaje 40 lub 80 MB/s w sposob ciagly, przez kilka miesiecy.

1 stopien redukuje strumien 10x, zaimlementowany jest w ASICu przy samym detektorze, dalej linkami optycznymi dane leca dalej. nastepny , majac duzo mniej danych sortuje te poprzednie i szuka w nich ciekawych zdarzen, redukujac strumien nastepne 100x. Zaimpelementowany jest w FPGA (kilkaset tys Stratixow) nastepny stopien to klaster 1500 PCtow polaczonych siecia 10Gbit. Redukuje dane 100...1000-krotnie i zapisuje na HDD.

A detektorow jest kilkadziesiat :)

Tfu! fibre channel

zyga

Tak, kompresowac 200MB/s. Sun robi takie serwery z 48 procesorami...

m.

Greg(G.Kasprowicz) napisał(a):

Tak po za tematem: to Ty robiłeś kamery do "Pi of the Sky"? :-)

po pierwsze: jak oszacowałeś moc obliczeniową nie mając założeń o złożoności algorytmu? RLE zrobisz na FPGA dla realnie dowolnej przepustowości, która w nie wejdzie i wyjdzie, kodowanie Huffmana przy stałym słowniku też. Nie wiadomo, co jest w danych, może już tyle dać zysk nawet kilkunastokrotny.

W dniu 23-02-2007 19:35, PAndy napisał(a):

Ale kto by tak dużo szumu na sekundę zapisywał? :-)

Krzysiek napisał(a):

SETI? ;)

w.

jak projektant fujara :D

czytanie selektywne? Primo, podałem dwa przykłady, nie tylko Huffmana, secundo, jak kompresowanie strumienia danych daje ujemny zysk, znaczy stratę, to projektant dupa. Tak samo, jeśli np. koło po posmarowaniu smarem obraca się ciężej, to mechanik, który ten spar wybrał, jest dupa. I to nie znaczy, że towot się nada do wszystkiego...