На GTC 2025 Dell представя конектор с отворен код, специфичен за Dell PowerScale, за RAG приложения, който ще помогне на клиентите да освободят CPU и GPU ресурси в своите AI изчислителни клъстери, да намалят мрежовото и I/O натоварването на съхранението и значително да ускорят времето за обработка на данни.

Клиентите на Dell могат да интегрират конектора PowerScale RAG с RAG рамки като LangChain или със софтуера NVIDIA AI Enterprise, за да оптимизират допълнително обработката на данни с помощта на микросървисите NVIDIA NIM. Тези възможности позволяват мащабиране на агентни AI внедрявания с помощта на платформата за данни с изкуствен интелект на Dell с NVIDIA и се интегрират с хардуерни и софтуерни услуги в референтния дизайн на NVIDIA AI Data Platform.

Нека разгледаме проблема, който този конектор решава, как работи и как разработчиците могат да го използват в своите RAG приложения.

---

Защо това е важно?

Днес, когато разработчиците поглъщат данни с помощта на предпочитаната от тях RAG рамка и създават RAG приложения, те се сблъскват с предизвикателство – как да поддържат RAG приложението актуално с последните промени в набора от данни?

Обикновено разработчиците настройват тръбопровод за обработка на данни, при който поглъщат изходни данни на определени интервали от система за съхранение като PowerScale, ключова опция за съхранение в инфраструктурата на Dell AI Factory с NVIDIA. Този тръбопровод създава и актуализира парчета и вграждания, които RAG приложението използва. Създаването на парчета и вграждания е изчислително интензивно и изисква CPU и GPU ресурси.

Когато RAG приложението трябва да погълне милиони документи и терабайти данни, това създава значително натоварване на изчислителните, мрежовите и съхранителните системи, особено когато едни и същи документи се появяват многократно. Конекторът PowerScale RAG значително подобрява производителността, като намалява количеството данни, които трябва да бъдат обработени. Конекторът интелигентно идентифицира файловете, които вече са обработени, и по-важното – кои файлове трябва да бъдат обработени. Най-доброто е, че конекторът се интегрира с RAG рамки като LangChain, общи Python класове и микросървисите NVIDIA NeMo Retriever и NIM.

Как работи?
С най-новата софтуерна версия на PowerScale администраторите могат да използват новата функция MetadataIQ, при която метаданните на файловата система се записват периодично в външна база данни Elasticsearch. Конекторът PowerScale RAG използва информацията в тази база данни, за да проследява вече обработените файлове, подобрявайки поглъщането и обработката на данни в RAG приложенията.

И в двете диаграми:

• Разработчиците ще поглъщат данни от PowerScale с помощта на базирания на Python RAG конектор с отворен код на Dell.
• Конекторът ще комуникира с хранилището за метаданни (база данни), което проследява нови, модифицирани и актуализирани файлове.
• След като операцията с базата данни бъде извършена, RAG конекторът ще върне резултати само от нови и модифицирани файлове към RAG рамката, пропускайки всички файлове, които не са били променени.
• Новите и модифицираните файлове ще бъдат обработени нормално чрез RAG приложението. Тези файлове могат да бъдат разделени на парчета и вградени с помощта на стандартни методи или чрез използване на NVIDIA NeMo Retriever.
• Прозренията могат да бъдат извлечени бързо и точно от големи количества данни, като се използва колекцията от микросървиси NIM на NeMo Retriever за извличане, вграждане и пренареждане.

В резултат RAG приложенията обработват само нови и модифицирани файлове, което освобождава CPU, GPU и мрежови ресурси за други изчислителни задачи.

Когато се използва конекторът Dell RAG PowerScale със софтуера NVIDIA AI Enterprise, като NeMo Retriever, клиентите ще запазят предимствата на конектора на Dell и ще се възползват от най-добрите RAG възможности на NVIDIA.

Разработчиците могат да получат незабавен достъп до конектора PowerScale RAG чрез:

• Посетете нашата GitHub страница: https://github.com/dell/powerscale-rag-connector
• Прочетете допълнителни подробности на уебсайта на LangChain: https://python.langchain.com/docs/integrations/document_loaders/powerscale/
• Подробни инструкции за настройка: https://infohub.delltechnologies.com/en-us/t/powerscale-rag-connector/

Източник