Малки обекти, голямо въздействие: Как ObjectScale подобрява ефективността в съхранението на данни
Производителността на обектното съхранение за малки файлове е от значение. А ключът е в хранилището на парчета (chunk store). Това е нискотехнологична, доста техническа подробност, но е важно да се разбере концепцията и нейните предимства, тъй като критичните за изкуствения интелект (ИИ) данни преминават към изцяло флаш-базирано обектно съхранение.
За колко малки файла говорим в днешните данни? При голям мащаб става въпрос за милиарди файлове. Тези файлове може да са метаданни, генерирани при обработката на неструктурирани данни в полуструктурирани данни за фина настройка на големи езикови модели (LLM). Или пък файловете могат да идват от архитектура на езеро за данни (data lakehouse) с масивни бази данни с отворени таблици.
Dell ObjectScale е обектно съхранение, специално създадено за предприятия, които се справят с изискванията на съвременните данни в ерата на ИИ. ObjectScale се отличава от конкуренцията по отношение на производителността за малки файлове, възстановяемост и издръжливост – значително подобрявайки ефективността на съхранението на данни. Ето някои причини за това.
Възползване от парчетата
ObjectScale пакетира файловете в парчета от 128 MB. Тези парчета предоставят на системата значителни предимства при работа с огромен брой малки обекти.
Например, представете си система с милиони или милиарди много малки 10K метаданни файлове. ObjectScale може да съхрани над 10 000 от тези файлове в едно-единствено парче. Това парче след това се кодира с изтриване (erasure encoding), а получените фрагменти се разпределят между стелажи и възли за толерантност към грешки. Парчето се разполага предвидимо на диска с чист разход за съхранение от 25% (при кодиране с изтриване 10+2).
За разлика от това, представете си система, която не използва хранилище на парчета. За такива малки обекти индивидуалното кодиране с изтриване е лош вариант (може да доведе до над 600% разход). Тези системи обикновено прибягват до двойно или тройно огледално копиране (200% или 300% разход). Опитайте да умножите това по стотици милиони или милиарди.
По-бързо възстановяване с по-ниски разходи за съхранение
След това разгледайте как парчетирането може да определи резултатите в сценарий с повреда.
В обектна система, която не използва хранилище на парчета, повреда на 61TB NVMe диск би означавала, че системата трябва да възстанови милиарди фрагменти от обекти. Говорим за седмици до месеци време за възстановяване при повреда на един диск. Ами ако цял възел за съхранение с 24 диска спре да работи? Възстановяванията биха били постоянно бреме за системата.
Хранилището на парчета на ObjectScale намалява общия брой фрагменти, които трябва да бъдат възстановени при сценарий с повреда, с порядъци (от милиарди до милиони). Времената за възстановяване на големи NVMe дискове могат да намалеят от седмици и месеци до само часове, като същевременно се поддържат ниски разходи за съхранение. Това наистина е единственото управляемо решение за поддръжка на големи NVMe дискове.
Максимизиране на издръжливостта и освобождаване на процесорни цикли
Също така разгледайте въздействието на издръжливостта на данните при управлението на обектно съхранение за съвременни натоварвания като изкуствен интелект. За да се предотврати тихо повреждане на данните, обектното съхранение извършва проактивно сканиране на обектите, проверявайки контролните суми и коригирайки грешки.
Ако всеки отделен обект в системата трябва да бъде проверяван с контролна сума, активна система лесно може да достигне състояние, в което тези сканирания никога не завършват. Някои обектни системи ограничават скоростите на приемане, ако попаднат в ситуация, в която проверките на контролните суми не могат да бъдат завършени.
ObjectScale, за разлика от това, проверява контролните суми на отделните обекти в реално време, преди да ги постави в парче. Няма нужда това да се проверява във фонов режим, тъй като контролните суми се верифицират на ниво сегмент/лента.
Чрез намаляване на броя на контролните суми, които трябва да бъдат непрекъснато проверявани, ObjectScale значително намалява свързаното с това процесорно натоварване. Това освобождава процесорни цикли, така че възлите за съхранение да могат да изпълняват основната си задача – четене и запис на данни.
Мащабирайте ефективността на съхранение за ИИ с ObjectScale
Мощният механизъм за съхранение на парчета на Dell ObjectScale директно адресира предизвикателствата при управлението на милиарди малки обекти. Всъщност, някои от нашите клиенти управляват среди на ObjectScale, които включват над 100 милиарда обекта в един-единствен контейнер. Каним ви да се свържете с нас и да научите повече за това как ObjectScale предлага превъзходна ефективност на съхранение, издръжливост и устойчивост, което го прави незаменима основа за високопроизводителни ИИ и аналитични работни процеси.