Комп'ютерні новини
Всі розділи
AnythingLLM: ШІ-додаток працює найефективніше на ПК з NVIDIA RTX завдяки прискоренню NIM
Настільний додаток AnythingLLM, що дозволяє локально використовувати великі мовні моделі (LLM) для конфіденційної роботи зі штучним інтелектом, тепер демонструє значно вищу продуктивність на ПК з відеокартами NVIDIA RTX завдяки інтеграції мікросервісів NVIDIA NIM.
Великі мовні моделі (LLM), навчені на величезних обсягах даних, генерують високоякісний контент і є основою для багатьох популярних ШІ-додатків. Один з найдоступніших способів роботи з LLM – це AnythingLLM, настільний додаток, створений для ентузіастів, які хочуть мати універсального помічника ШІ, орієнтованого на конфіденційність, безпосередньо на своєму ПК. Завдяки новій підтримці мікросервісів NVIDIA NIM на графічних процесорах NVIDIA GeForce RTX та NVIDIA RTX PRO, користувачі AnythingLLM тепер можуть отримати ще швидшу продуктивність для більш чуйних локальних робочих процесів штучного інтелекту.
Що таке AnythingLLM?
AnythingLLM – це універсальний ШІ-додаток, який дозволяє користувачам запускати локальні LLM, системи генерації з доповненим пошуком (RAG) та агентні інструменти.
Він діє як міст між LLM та даними користувача, а також надає доступ до "навичок", що спрощує та підвищує ефективність використання LLM для конкретних завдань, зокрема:
- Відповіді на запитання: Отримання відповідей від LLM (наприклад, Llama та DeepSeek R1).
- Запити персональних даних: Конфіденційна робота з контентом, включаючи PDF, файли Word, бази коду тощо, за допомогою RAG.
- Резюмування документів: Створення коротких витягів з довгих текстів.
- Аналіз даних: Вилучення аналітичних даних шляхом завантаження файлів та запитів.
- Агентні дії: Динамічне дослідження контенту, запуск генеративних інструментів та дій на основі підказок користувача.
AnythingLLM може підключатися до широкого спектра локальних LLM з відкритим кодом, а також до більших хмарних LLM (OpenAI, Microsoft, Anthropic). Додаток також надає доступ до навичок для розширення можливостей агентного ШІ через свій центр спільноти.
Завдяки встановленню одним клацанням миші та інтуїтивно зрозумілому інтерфейсу, AnythingLLM є чудовим варіантом для ентузіастів ШІ, особливо тих, хто має системи з графічними процесорами GeForce RTX та NVIDIA RTX PRO.
RTX забезпечує прискорення AnythingLLM
Графічні процесори GeForce RTX та NVIDIA RTX PRO пропонують значне підвищення продуктивності для запуску LLM та агентів в AnythingLLM. Вони прискорюють логічний висновок завдяки тензорним ядрам, розробленим для ШІ.
AnythingLLM запускає LLM з Ollama для виконання на пристрої, прискореного завдяки тензорним бібліотекам Llama.cpp та ggml. Ollama, Llama.cpp та GGML оптимізовані для графічних процесорів NVIDIA RTX та тензорних ядер п'ятого покоління.
Для прикладу, продуктивність на GeForce RTX 5090 у 2,4 раза вища, ніж в Apple M3 Ultra (на Llama 3.1 8B та DeepSeek R1 8B).
AnythingLLM — тепер з NVIDIA NIM
AnythingLLM нещодавно додала підтримку мікросервісів NVIDIA NIM — оптимізованих для продуктивності, попередньо упакованих генеративних моделей штучного інтелекту, які спрощують початок роботи з ШІ на ПК з RTX AI через оптимізований API.
NVIDIA NIM чудово підходять для розробників, які шукають швидкий спосіб тестування моделей генеративного ШІ. Замість того, щоб шукати потрібну модель, завантажувати всі файли та вирішувати, як їх підключити, NIM надають єдиний контейнер, який містить усе необхідне. Вони можуть працювати як у хмарі, так і на ПК, що спрощує створення прототипів локально, а потім розгортання в хмарі.
Пропонуючи NIM у зручному інтерфейсі AnythingLLM, користувачі отримують швидкий спосіб тестувати та експериментувати з ними, а потім інтегрувати їх у свої робочі процеси або використовувати з кресленнями NVIDIA AI, документацією та зразками коду NIM для безпосереднього підключення до своїх програм чи проєктів.
