10996
Grupo de discusión sobre el lenguaje Python en español
si faltan archivos es porque no se subieron en los commits/push
Читать полностью…
Lo que me paso es que subi la app funcionando,borre la carpeta de la notbook y cuando clone,falta archivos. Ese mi pregunta.¿Como evito eso?
Читать полностью…
Considera no solo la infrerencia si no la base de datos vectorial. 12TB no require poco .
Читать полностью…
entonces el gobierno de USA y grandes corporaciones está mal y tu bien 👍
Читать полностью…
si, puede desanimar pero es un punto de partida, necesitas un parámetro para medir la capacidad de respuesta del llm y ver si la mejora tiene una buena relación calidad precio, yo pondría un pc que tenga por ahí para poner un punto de partida, ya después ves que es lo mejor
Читать полностью…
mi minimo seria correr un NVIDIA DGX SPARK por ello pregunta que tal la experiencia con ese fierro
Читать полностью…
si, pero no me voy a quemar con una PoC que desanime
Читать полностью…
Con GPUs vas más rápido, claro, pero si hablamos de lo mínimo es que se espera que ejecute sin prisa
Читать полностью…
que seria algo minimo? cuanto aprox costaria levantar ello?
despues de la prueba de concepto ese equipo ya para que lo utilizo?
Con el rag lo que haces es esencialmente eso: extraer la info de los documentos en formato embeddings, almacenarlo en una base de datos vectorial y currarte con ingeniería directa el relevant context retrieving
Читать полностью…
pero montarlo en onprimise cuanto es lo minimo que costaria?
la nvidia parte de US$ 6,000
comprimi los PDF... y los excel convertirlos a csv y los word a markdown vas a ahorrar espacio
Читать полностью…
tienes que mandar una imagen de tu .gitignore y compartir tu repo además una imagen de tu proyecto local, dices que faltan archivos pero no eres claro con que archivos
Читать полностью…
Lo de los Bots Generalistas lo anunciaron en agosto del año pasado, se hizo efectivo el 16 de enero pasado
Читать полностью…
voy a cotizar un mostrito a ver cuanto sale en dolares
Читать полностью…
es lo mismo,, es información demasiada sensible
Читать полностью…
No me refiero a un SLA si no clausualas de no training y confidencialidad
Читать полностью…
Depende de que exactamente quieres correr no lo has dicho, si un modelo local y que tipo de modelo tu base de datos vectorial y que base. Cuántos tokens por segundo y así. Tienes que definir eso para poder sacar un costo
Читать полностью…
Ay clausulas en la mayoría de los servicios para que eso no sea un problema
Читать полностью…
la poc seria engañosa, muy engañosa, probablemente los resultados que arroje con tan poco fierro desanimen
Читать полностью…
Lo mínimo podría ser 1 core con 64GB y un modelo minúsculo. Sin ninguna prisa por que acabe pronto, por supuesto
Читать полностью…
Cada modelo llm local (Tampoco me los conozco todos, léase Ollama o deepseek. Lo que sea o lo que te apetezca) tiene sus requisitos y sabes el hard cloud que necesitas para moverlo. Y con eso el coste. Puedes empezar por algo mínimo e incrementar el tallaje una vez que veas que tira
Читать полностью…
Entrenar el LLM sería lo último que haría y lo evitaría a toda costa. Empezaría con un modelo on premise montado en cloud, implementaría el rag/chain y si funciona entonces ya si me cuestionaría comprar el cacharro y montarlo on premise
Читать полностью…
Yo de hacer algo tiraría por ahí antes de invertir tantísimo
Читать полностью…