8213
Канал: @pip_install Наши сайты: https://python-scripts.com http://python-3.ru https://selenium-python.com Мы в ВК: https://vk.com/open_sourcecode Наша библиотека: @PythonBible
Ну, мне кажется тут просто слишком низкий лимит выставлен, что оно в оверфлоу залезает, и там тоже не хватает
Читать полностью…
Кешами обмазать, реплики на чтение и прочее. Пока нагрузка не такая большая можно не расчехлять большой калибр
Читать полностью…
Вообщем мне так или иначе надо возможный пулл соединений увеличивать?
Читать полностью…
Ну очевидно если нагрузка растет, то надо больше одновременных соединений. Это нормально
Читать полностью…
скинь хотя бы вывод того, что у тебя там пишет pytorch по девайсам
Читать полностью…
та не, это самое простое и первое, что делают. Там проблема глубже и её возможно знаю те, кто работает с кастомными нейронками у себя на ПК. На винде включить cuda ускорение нейронок как оказалось не так просто
Читать полностью…
https://docs.pytorch.org/docs/stable/generated/torch.set_default_device.html
Читать полностью…
код довольно большой, могу в личку кинуть, если шаришь в этой теме и можешь помочь
Читать полностью…
т.е. карточку при генерации ответа практически не грузит
Читать полностью…
в пайчарм:
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
model_name = "Qwen/Qwen3-8B"
Ладно бы еще rocm был, но куда элементарно встает
Читать полностью…
Да бож, зайди на страницу пайторча и там get started и выкачиваешь нужную тебе версию с кудой и прочим
Читать полностью…
CUDA драйвера - та еще радость. но у торча довольно неплохая инструкция по установке. посмотри в их документацию и убедись, что ты установил верные версии торча и куда драйверов
Читать полностью…
торч "видит" видеокарту через CUDA. когда ты пишешь torch.cuda_is_available() - он обращается к более низкоуровневой библиотеке. скорее всего проблема именно с CUDA драйверами. видеокарта от нвидиа?
Читать полностью…
Напомните, когда наступает эта фаза? После 25?
Читать полностью…
Но я бы для начала глянул, может код неправильно работает с пулом и где-то не отдаёт соединение
Читать полностью…
Потом просто масштабирование пойдёт
Читать полностью…
Это просто не будет работать. А если добьешься чтобы оно работало, будет та же проблема что сейчас, но ещё тонна кода, которая ничего не делает и только тормозит сама
Читать полностью…
Здравствуйте, подскажите пожалуйста, объемы бота стремительно растут и алхимия начала выбивать вот такие ошибки:
QueuePool limit of size 5 overflow 10 reached
ну я запускаю через lm studio вообще на амдшной карте, и нейронки у меня в дипломе были (computer vision), но звучит как будто тебе надо проверить что-то еще и дать больше инфы для отладки
Читать полностью…
попробуй так, возможно загрузчик моделей другой автоматом определял девайс, а в этой конфигурации оно так не делает
Читать полностью…
В личку не надо, в целом не работаю с ллмками, но подозрение что можно вписать пайторчу девайс cuda дефолтный
Читать полностью…
Чето контекста как будто не хватает какого-то
Читать полностью…
на 4090:
📊 ⚡️ Fast | Время: 8.75с | Токенов: 15 | Скорость: 1.8 tok/s
🎮 GPU до: 0.0% | после: 18.0%
Нейронка какая конкретно, в чем запускаешь, как запускаешь?
Читать полностью…
Все элементарно же делается, просто надо прочитать
Читать полностью…
народ, у кого получилось на винде запустить через питон нейронку с CUDA ускорением? второй день ковыряю, карту грузит до 15% и всё. (модель safetensors на 4090, с GGUF моделями проблем таких нет)
Читать полностью…
А ты знаешь как решить эту проблему?
Читать полностью…
Я начал работать с библиотекой torch, но почему-то она не видит мою видеокарту. Кто-нибудь знает решение проблемы?
Читать полностью…