Witajcie,

Jest sobie Ryzen 7 1700 i płyta ASUS PRIME B350-PLUS.

Chodzi mi to jako serwer i pojawiają się błędy checksum na Btrfs, a
nośnik HDD jest 100% sprawny (RAID1 do tego), a więc 90% jest to pamięć,
a miałem wiele problemów z pamięcią wcześniej, teraz co prawda memtest
przechodzi poprawnie, ale nadal coś jest na rzeczy, a więc mógłbym
zmienić 32GB DDR4 2400MHz non-ECC na wersję ECC, albo nawet wyższe
taktowanie (o ile uzyskam pełną stabilność).

Obsługuje toto ECC RAM?

Widzę sprzeczne informacje na stronach dlatego wolę zapytać.

--
pozdrawiam, pioruns
_,.-'~'-.,__,.-'~'-.,__,.-'~'-.,__,.
Registered Linux User #454644

do góry

On 2020-10-09, pioruns <w...@w...com> wrote:
> Witajcie,
>
> Jest sobie Ryzen 7 1700 i płyta ASUS PRIME B350-PLUS.
>
> Chodzi mi to jako serwer i pojawiają się błędy checksum na Btrfs, a
> nośnik HDD jest 100% sprawny (RAID1 do tego), a więc 90% jest to pamięć,
> a miałem wiele problemów z pamięcią wcześniej, teraz co prawda memtest
> przechodzi poprawnie, ale nadal coś jest na rzeczy, a więc mógłbym
> zmienić 32GB DDR4 2400MHz non-ECC na wersję ECC, albo nawet wyższe
> taktowanie (o ile uzyskam pełną stabilność).
>
> Obsługuje toto ECC RAM?
>
> Widzę sprzeczne informacje na stronach dlatego wolę zapytać.

Na stronie Asusa podają, że obsługuje, przy czym na dostępnej tam liście
pamięci obsługiwanych jest wymieniona tylko jedna ECC. Jest to jedna z
2ch pamięci Transcend'a w tym zestawieniu i co ciekawe, druga jest
identyczna, a figuruje jako zwykła. Ale na Reddicie są raporty, że
obsługuje i inne.

Dodatkowo, tu:
https://www.reddit.com/r/AMDHelp/comments/8w5ftu/whi
ch_ram_for_asus_prime_b350plus_using_ryzen_7/e1tifry
/
ktoś twierdzi, że większość niebuforowaych ecc powinna działać.

No więc widać, że obsługuje, tylko niekoniecznie każdą. Szukałbym po
konkretnej pamięci.

--
Marcin

do góry

On 09/10/2020 20:25, Marcin Debowski wrote:

> Na stronie Asusa podają, że obsługuje, przy czym na dostępnej tam liście
> pamięci obsługiwanych jest wymieniona tylko jedna ECC. Jest to jedna z
> 2ch pamięci Transcend'a w tym zestawieniu i co ciekawe, druga jest
> identyczna, a figuruje jako zwykła. Ale na Reddicie są raporty, że
> obsługuje i inne.
>
> Dodatkowo, tu:
> https://www.reddit.com/r/AMDHelp/comments/8w5ftu/whi
ch_ram_for_asus_prime_b350plus_using_ryzen_7/e1tifry
/
> ktoś twierdzi, że większość niebuforowaych ecc powinna działać.
>
> No więc widać, że obsługuje, tylko niekoniecznie każdą. Szukałbym po
> konkretnej pamięci.
>
Dzięki za odpowiedź. Tak sobie szukam i bardzo mało jest Unbuffered ECC
DDR4 w porównaniu do Registered ECC. Ponadto, płyta obsługuje max 16GB
per stick. Obecnie mam tam takie:
https://www.corsair.com/us/en/Categories/Products/Me
mory/VENGEANCE-LPX/p/CMK32GX4M4A2400C16#tab-tech-spe
cs

2400MHz @ CAS 16 Unbuffered non-ECC. Czytam dalej w necie, że pamięć
gubi desktopowa non-ECC gubi zazwyczaj 1 bit na miesiąc na 1 GB RAM. A
więc ja gubię 4 bajty na miesiąc :/ Nic dziwnego, że dostałem data
corruption na dysku po wielu miesiącach uptime - w sumie po roku pracy z
resetami oczywiście. Wykrył mi je program (bo się wywalał na swoich
własnych plikach), a sprawę nagłośnił Btrfs w dmesg.
Przejechałem dyski btrfs scub (checksum corruption wykryte w jednym
pliku, nic więcej). Sformatowałem dyski od nowa, zmigrowałem z mdadm
raid1 do natywnego btrfs raid1. Zero błędów nośnika po formacie i po
scrubie. Przejechałem oba Spinritem. Nic. SMART Extended Self Test nic.
Zero bad sektorów i w ogóle. A więc pamięć :|

Znalazłem te dwie:
https://www.scan.co.uk/products/16gb-1x16gb-samsung-
m391a2k43bb1-ctd-ddr4-workstation-ram-pc4-21300-2666
-ecc-unbuffered-cas-19-dual

https://www.scan.co.uk/products/8gb-samsung-1x8-ddr4
-pc4-21300-2666mhz-cl17-12v-ecc-udimm-server-memory

Jak myślisz, nada się to? Obydwa są 2666MHz Unbuffered ECC no i
Samsunga. Prędkość też fajna bo byłoby to upgrade z obecnego 2400MHz.
Trochę gorsze CAS bo 16GB ma C19 a 8GB ma C17, ale ECC musi być. Inaczej
będę musiał szukać innej płyty ;) Są jakieś płyty pod Ryzena, które idą
z ECC Registered?


--
pozdrawiam, pioruns
_,.-'~'-.,__,.-'~'-.,__,.-'~'-.,__,.
Registered Linux User #454644

do góry

On 2020-10-11, pioruns <w...@w...com> wrote:
> On 09/10/2020 20:25, Marcin Debowski wrote:
>
>> Na stronie Asusa podają, że obsługuje, przy czym na dostępnej tam liście
>> pamięci obsługiwanych jest wymieniona tylko jedna ECC. Jest to jedna z
>> 2ch pamięci Transcend'a w tym zestawieniu i co ciekawe, druga jest
>> identyczna, a figuruje jako zwykła. Ale na Reddicie są raporty, że
>> obsługuje i inne.
>>
>> Dodatkowo, tu:
>> https://www.reddit.com/r/AMDHelp/comments/8w5ftu/whi
ch_ram_for_asus_prime_b350plus_using_ryzen_7/e1tifry
/
>> ktoś twierdzi, że większość niebuforowaych ecc powinna działać.
>>
>> No więc widać, że obsługuje, tylko niekoniecznie każdą. Szukałbym po
>> konkretnej pamięci.
>>
> Dzięki za odpowiedź. Tak sobie szukam i bardzo mało jest Unbuffered ECC
> DDR4 w porównaniu do Registered ECC. Ponadto, płyta obsługuje max 16GB
> per stick. Obecnie mam tam takie:
> https://www.corsair.com/us/en/Categories/Products/Me
mory/VENGEANCE-LPX/p/CMK32GX4M4A2400C16#tab-tech-spe
cs
>
> 2400MHz @ CAS 16 Unbuffered non-ECC. Czytam dalej w necie, że pamięć
> gubi desktopowa non-ECC gubi zazwyczaj 1 bit na miesiąc na 1 GB RAM. A
> więc ja gubię 4 bajty na miesiąc :/ Nic dziwnego, że dostałem data
> corruption na dysku po wielu miesiącach uptime - w sumie po roku pracy z

Mimo wszystko to trochę dziwne bo gubienie RAM nie musi się przekładać
od razu na dysk. Musi być jeszcze jakaś operacja dyskowa z tymi będnymi
danymi. MZ tego się nie da prosto oszacować, ale wydawałoby się, że nie
powinno być tego dużo, tj. jakiś ułamek błędów pochodnych RAM. No chyba,
że te dyski przerzucają dane non-stop.

> resetami oczywiście. Wykrył mi je program (bo się wywalał na swoich
> własnych plikach), a sprawę nagłośnił Btrfs w dmesg.
> Przejechałem dyski btrfs scub (checksum corruption wykryte w jednym
> pliku, nic więcej). Sformatowałem dyski od nowa, zmigrowałem z mdadm
> raid1 do natywnego btrfs raid1. Zero błędów nośnika po formacie i po
> scrubie. Przejechałem oba Spinritem. Nic. SMART Extended Self Test nic.
> Zero bad sektorów i w ogóle. A więc pamięć :|

Nie masz czegoś co może istotnie zakłócać, nie wiem, jakieś silne,
zmienne pola EM, albo jakieś źródło promieniowania? :) Swoją drogę, te
komunikaty o błędach (chksum) nie dotyczą braku "symetryczności" na obu
pulach tego Raid 1? Inaczej mówiąc, czy ten Raid 1 naprawia indywidualne
błędy zupełnie transparentnie, czy może ten błąd to własnie wynik
niezgodności obu kopii?

> Znalazłem te dwie:
> https://www.scan.co.uk/products/16gb-1x16gb-samsung-
m391a2k43bb1-ctd-ddr4-workstation-ram-pc4-21300-2666
-ecc-unbuffered-cas-19-dual
>
> https://www.scan.co.uk/products/8gb-samsung-1x8-ddr4
-pc4-21300-2666mhz-cl17-12v-ecc-udimm-server-memory
>
> Jak myślisz, nada się to? Obydwa są 2666MHz Unbuffered ECC no i
> Samsunga. Prędkość też fajna bo byłoby to upgrade z obecnego 2400MHz.
> Trochę gorsze CAS bo 16GB ma C19 a 8GB ma C17, ale ECC musi być. Inaczej
> będę musiał szukać innej płyty ;) Są jakieś płyty pod Ryzena, które idą
> z ECC Registered?

Nie mogę tam wleźć, bo str. uważa, że ją atakuję :)
A nie masz możliwość zakupu tech kości aby sprawdzić i jeśli nie działają,
zwrócić?

ECC są generalnie bardzo drogie. Chyba mimo wszystko próbowałbym to
jakoś ogarnąć programowo. Nie wiem, zrobić automatyczne tworzenie plików
par2 z bardzo niską redundancją (0.1-0.5%) z okresowym spradzaniem?

--
Marcin

do góry

On 09.10.2020 13:56, pioruns wrote:
> Witajcie,
>
> Jest sobie Ryzen 7 1700 i płyta ASUS PRIME B350-PLUS.
>
> Chodzi mi to jako serwer i pojawiają się błędy checksum na Btrfs, a
> nośnik HDD jest 100% sprawny (RAID1 do tego), a więc 90% jest to pamięć,
> a miałem wiele problemów z pamięcią wcześniej, teraz co prawda memtest
> przechodzi poprawnie, ale nadal coś jest na rzeczy, a więc mógłbym
> zmienić 32GB DDR4 2400MHz non-ECC na wersję ECC, albo nawet wyższe
> taktowanie (o ile uzyskam pełną stabilność).
>
> Obsługuje toto ECC RAM?
>
> Widzę sprzeczne informacje na stronach dlatego wolę zapytać.
>

Oficjalnie dopiero threadripper obsługuje.

Rozglądałem się kiedyś za informacjami, były sprzeczne, niektóre testy
wskazywały na częściową obsługę. Z tego powodu zostałem przy xeonach.

JaceK

do góry

On 14/10/2020 00:26, Marcin Debowski wrote:

> Nie masz czegoś co może istotnie zakłócać, nie wiem, jakieś silne,
> zmienne pola EM, albo jakieś źródło promieniowania? :) Swoją drogę, te
> komunikaty o błędach (chksum) nie dotyczą braku "symetryczności" na obu
> pulach tego Raid 1? Inaczej mówiąc, czy ten Raid 1 naprawia indywidualne
> błędy zupełnie transparentnie, czy może ten błąd to własnie wynik
> niezgodności obu kopii?

W PC jest oczywiście zasilacz PC a także obok, stykając się obudowami,
jest UPS ze swoim zasilaczem. Czyli standardowe urządzenia komputerowe,
które mają jakąś tam odporność na ESD.

>> Znalazłem te dwie:
>> https://www.scan.co.uk/products/16gb-1x16gb-samsung-
m391a2k43bb1-ctd-ddr4-workstation-ram-pc4-21300-2666
-ecc-unbuffered-cas-19-dual
>>
>> https://www.scan.co.uk/products/8gb-samsung-1x8-ddr4
-pc4-21300-2666mhz-cl17-12v-ecc-udimm-server-memory
>>
>> Jak myślisz, nada się to? Obydwa są 2666MHz Unbuffered ECC no i
>> Samsunga. Prędkość też fajna bo byłoby to upgrade z obecnego 2400MHz.
>> Trochę gorsze CAS bo 16GB ma C19 a 8GB ma C17, ale ECC musi być. Inaczej
>> będę musiał szukać innej płyty ;) Są jakieś płyty pod Ryzena, które idą
>> z ECC Registered?
>
> Nie mogę tam wleźć, bo str. uważa, że ją atakuję :)
> A nie masz możliwość zakupu tech kości aby sprawdzić i jeśli nie działają,
> zwrócić?

Właśnie tak zrobiłem. Zakupiłem jedną kość 16GB 2666MHz DDR4 ECC CL19
DIMM marki Kingston Server Premier:
https://www.ebuyer.com/834676-kingston-server-premie
r-ksm26ed8-16me-16gb-2666mhz-ddr4-ecc-cl19-dimm-ksm2
6ed8-16me

Zobaczymy jak przyjdzie, czy działa :)

> ECC są generalnie bardzo drogie. Chyba mimo wszystko próbowałbym to
> jakoś ogarnąć programowo. Nie wiem, zrobić automatyczne tworzenie plików
> par2 z bardzo niską redundancją (0.1-0.5%) z okresowym spradzaniem?

A możesz przybliżyć co masz na myśli z tworzeniem tych plików, dokładniej?

Wyczerpały mi się pomysły, dlatego wziąłem się za pamięć ECC, bo serwer
chodzi 24/7, to fakt. A dane odnośnie statystycznej ilości bitów
uszkodzonych na miesiąc na 1 GB zwykłego RAM mnie powalił. Dalej myślę,
czy to czasem nie dyski, czy kontroler czy coś. Przykładowo, jeden z
dysków raportuje się tak:

Model Family: Seagate Barracuda 3.5
Device Model: ST2000DM006-2DM164
Serial Number: Z4Z9VCVN
LU WWN Device Id: 5 000c50 0a5def0ef
Firmware Version: CC26
User Capacity: 2,000,398,934,016 bytes [2.00 TB]
Sector Sizes: 512 bytes logical, 4096 bytes physical
Rotation Rate: 7200 rpm
Form Factor: 3.5 inches
Device is: In smartctl database [for details use: -P show]
ATA Version is: ACS-2, ACS-3 T13/2161-D revision 3b
SATA Version is: SATA 3.1, 6.0 Gb/s (current: 6.0 Gb/s)

ID# ATTRIBUTE_NAME: RAW_VALUE
1 Raw_Read_Error_Rate: 125205888
3 Spin_Up_Time: 0
4 Start_Stop_Count: 1276
5 Reallocated_Sector_Ct: 0
7 Seek_Error_Rate: 1829851896660
9 Power_On_Hours: 14599
10 Spin_Retry_Count: 0
12 Power_Cycle_Count: 680
183 Runtime_Bad_Block: 1
184 End-to-End_Error: 0
187 Reported_Uncorrect: 0
188 Command_Timeout: 0
189 High_Fly_Writes: 130
190 Airflow_Temperature_Cel: 29
191 G-Sense_Error_Rate: 0
192 Power-Off_Retract_Count: 16
193 Load_Cycle_Count: 147909
194 Temperature_Celsius: 29
197 Current_Pending_Sector: 0
198 Offline_Uncorrectable: 0
199 UDMA_CRC_Error_Count: 3
240 Head_Flying_Hours: 11119h+37m+20.737s
241 Total_LBAs_Written: 226553923475
242 Total_LBAs_Read: 464637728080

Jest to jeden z gorszych dysków, drugi ma lepsze staty. Ten miał 3 błędy
checksum na kablu (drugi miał 1), a więc kable chyba spoko. 0 realokacji
czy oczekujących sektorów, 0 command timeout (to dobrze, bo nigdy nie
wywaliły requestu systemu o jakiś sektor), ale 1 "runtime_bad_block".
Wszelkie testy Read-InvertWrite-Verify-InvertWrite-Read-Verify (czyli
Spinrite level 4), scruby btrfsem przechodzą te dyski 100% idealnie w
tym momencie, wszystkie SMART self testy też. Dyski bardzo dużo piszą i
czytają, bo mam przeróżne usługi na tym serwerze włącznie ze swapem i
całym /home i /var (a więc /var/www i /var/cache, /var/log też, a tam w
nich duża mielonka jest).

Nie wiem jak czytać "Total_LBAs_Written" i "Total_LBAs_Read", ale jeśli
przyjąć, że LBA to 512 bajtów, to dyski zapisują 36 TB na rok i czytają
283 TB na rok, po przeliczeniu ile pracowały. A mają po 2 TB pojemności.
Gdyby to były SSD to już by się dawno zajechały, mam wrażenie :)

--
pozdrawiam, pioruns
_,.-'~'-.,__,.-'~'-.,__,.-'~'-.,__,.
Registered Linux User #454644

do góry

On 14/10/2020 14:09, pioruns wrote:
> 9 Power_On_Hours: 14599
>
> 240 Head_Flying_Hours: 11119h+37m+20.737s

Licząc ile TB zapisują i odczytują na rok wziąłem błędnie pod uwagę Head
Flying Hours (czyli czas kiedy były aktywne głowice jak rozumiem). Ale
wychodzi na to, że większość czasu i tak były akywne, a więc dysk cały
czas coś mieli. Dyski żyją online 608 dni, a głowice pracowały 463 dni,
a więc 3/4 czasu.

--
pozdrawiam, pioruns
_,.-'~'-.,__,.-'~'-.,__,.-'~'-.,__,.
Registered Linux User #454644

do góry

On 14/10/2020 09:09, JaceK wrote:

> Oficjalnie dopiero threadripper obsługuje.
>
> Rozglądałem się kiedyś za informacjami, były sprzeczne, niektóre testy
> wskazywały na częściową obsługę. Z tego powodu zostałem przy xeonach.
>
> JaceK

Tak. AMD oficjalnie nie robił testów i nie certyfikuje swoich procesorów
z serii Ryzen pod ECC, ale technologia jest i działa. Producenci płyt
głównych niechętnie sami certyfikują tą funkcjonalność, bo pewnie kasa
im się nie zgadza (kto tego używa, 5%?).
Ale kilku już się wyłamało i reklamuje już ECC w swoich płytach: ASUS,
Biostar i kilka innych. A więc można spokojnie kupić sobie lepszą płytę
np. ASUS Crosshair i mieć certyfikowane ECC w desktopowej budzie w
fajnym budżecie.

Ja używam ASUS Prime B350 z dolnej półki, w której specyfikacji napisali
tylko:"ECC Memory (ECC mode) support varies by CPU."

Z kolei w Crosshair VI Hero napisali już:
"4 x DIMM, Max. 64GB, DDR4 3200(O.C.)/2666/2400/2133 MHz ECC and
non-ECC, Un-buffered Memory"

A więc można spokojnie kupować Unbuffered ECC i powinno działać, a jak
coś to można reklamować (gdyby na liście Memory QVL było i nie działało).

--
pozdrawiam, pioruns
_,.-'~'-.,__,.-'~'-.,__,.-'~'-.,__,.
Registered Linux User #454644

do góry

On 14.10.2020 15:39, pioruns wrote:
> On 14/10/2020 09:09, JaceK wrote:

> A więc można spokojnie kupować Unbuffered ECC i powinno działać, a jak
> coś to można reklamować (gdyby na liście Memory QVL było i nie działało).

Działać prawdopodobnie będzie, bo cechą pamięci unbuffered ECC zazwyczaj
jest, że działają na platformach wspierających unbuffered bez ECC. Ale
dopóki nie znajdę testów potwierdzających, że korekta ECC działa w pełni
to nie zdecyduję się. Nie mam linku, ale czytałem kiedyś recenzję, że
kolesiowi przepuściło błędy i ryzen + płyta + pamięć ECC tego nie
wyłapały pomimo włączonej obsługi ECC. Oczekiwał, że komp się po prostu
zawiesi przy wygenerowanym błędzie pamięci, a on pracował dalej i
zapisał błędne dane na dysku. Działało to tylko częściowo (tj. jakieś
tam błędy wyłapywało, ale nie wszystkie).

JaceK

do góry

On 14/10/2020 19:33, JaceK wrote:

> Działać prawdopodobnie będzie, bo cechą pamięci unbuffered ECC zazwyczaj
> jest, że działają na platformach wspierających unbuffered bez ECC. Ale
> dopóki nie znajdę testów potwierdzających, że korekta ECC działa w pełni
> to nie zdecyduję się. Nie mam linku, ale czytałem kiedyś recenzję, że
> kolesiowi przepuściło błędy i ryzen + płyta + pamięć ECC tego nie
> wyłapały pomimo włączonej obsługi ECC. Oczekiwał, że komp się po prostu
> zawiesi przy wygenerowanym błędzie pamięci, a on pracował dalej i
> zapisał błędne dane na dysku. Działało to tylko częściowo (tj. jakieś
> tam błędy wyłapywało, ale nie wszystkie).

Jeśli producent reklamuje ECC jako feature, to powinno działać.
Ewentualnie zawsze można do producenta zadzwonić i zapytać, czy ECC jest
w pełni sprawne, czy tylko proteza.

Ale masz ten link, chyba dokładnie ten, który czytałeś, coś mi się zdaje:
https://hardwarecanucks.com/cpu-motherboard/ecc-memo
ry-amds-ryzen-deep-dive/

na to wychodzi, że ECC w pełni działa, czy to Linux czy to Windows. Ja
używam Linuksa i już mam narzędzie EDAC zainstalowane, będe mógł
zweryfikować jak się ECC sprawuje. Zamierzam napisać też (kolejnego)
bota do Telegram, który będzie mi w statystykach wysyłał dane na temat
ilości korekcji dokonanych przez pamięć ECC. A więc ręka na pulsie.

Test można zrobić samemu bardzo szybko, wystarczy podnieść mocno takty
aby komp wstawał ale nie pracował stabilnie pod obciążeniem takim np.
Prime95.

Na końcu artykułu występuje jest podobne zjawisko jak opisane przez
Ciebie - ale tutaj jest błąd, którego nie naprawia pamięć ECC, bo ponad
dwa bity błędu. Nawet serwerowa platforma z 100% zaimplementowanym ECC
tego nie naprawi. Jedyne co to można mieć żal do systemu operacyjnego,
że od razu nie walnął BSODa, ale to chyba wina systemu. Zresztą można
łatwo napisać narzędzie aby robiło od razu reset po wykryciu takiego
błędu jak komuś bardzo zależy.

--
pozdrawiam, pioruns
_,.-'~'-.,__,.-'~'-.,__,.-'~'-.,__,.
Registered Linux User #454644

do góry