Les LLM

Marsh Posté le 13-02-2025 à 18:35:06

:hello:

Je lis et écoute pas mal de podcasts depuis 2ans sur le sujet.
Je viens de finir le dernier épisode de Underscore avec l'interview de l'un des fondateurs de Mistral AI.
Je suis un gros noob. Ingé méca de formation. Pas du tout dans le monde de l'IT et du dev.
Mais j'aimerais me lancer et faire mumuse avec un LLM local pour faire de l'analyse de base de données, à base de documents pdf.
En gros de l'analyse de publications.

Donc j'aimerais ouvrir un topic pour parler des LLM. Pourquoi pas en faire le topic unique sur ce sujet.
Autant que possible plutôt du pendant open source.

Je m'intéresse pour commencer aux modèles de Mistral AI.
Mais le topic est là pour élargir le spectre !

Donc n'hésitez pas !

L'idée est de parler de software (au sens comment les installer, comment les entrainer, comment les utiliser) mais aussi hardware (quelle config pour les faire tourner, quoi privilégier, ...).

Donc n'hésitez pas à intervenir !

Pour les modo : je ne sais pas du tout où ranger ce topic. Sentez-vous libre de le déplacer !

Message édité par arank'thnar le 13-02-2025 à 18:35:34

---------------
Topic Bougnat - Mon Topic de A/V - Nos créations 3D - Geek'n Craft 63

Reply

Marsh Posté le 13-02-2025 à 18:35:06

Reply

Marsh Posté le 14-02-2025 à 13:17:00

Bonsoir

---------------
"Xat le punk à chien facho raciste. C'est complexe comme personnage." caudacien 05/10/2020

Reply

Marsh Posté le 15-02-2025 à 07:36:47

Bonne idée.

Personnellement j'utilise ollama, ça tourne sur mon mac mini sans soucis (je me limite aux modèles jusqu'à 32B, plus gros c'est trop lent à mon goût).

Pour les questions de tous les jours j'utilise ollamac qui est une app Mac qui permet de détecter les modèles installés localement et de chatter avec eux.

Il existe web UI si tu veux rester dans le browser, ça s'installe via Python + pip sur ton ordinateur.

Tu peux utiliser mistral avec ollama et donc chatter avec lui, ou bien le loader dans un contexte de programmation et charger différents fichiers ou bases de données.

Par exemple cela dépends de ta base de données (sqlite/postgres), il y'a toujours une table (ou plusieurs) qui contiennent les schémas de tes données, tu pourrais en python les retrouver, les fournir en contexte au LLM et ensuite lui poser une question d'analyse sur les données de ta DB ou bien générer des requêtes à partir de mots (donne moi le top 5 des achats).

Example avec Python, tu peux prendre une base de données exemple style celle-ci: https://www.sqlitetutorial.net/sqlite-sample-database/

Code :

import sqlite3
import ollama
conn = sqlite3.connect("chinook.db" )
cursor = conn.cursor()
cursor.execute("SELECT name FROM sqlite_master WHERE type='table';" )
tables = [t[0] for t in cursor.fetchall()]
schemas = {}
for table in tables:
cursor.execute(f"PRAGMA table_info({table});" )
columns = cursor.fetchall()
schemas[table] = [{"column": col[1], "type": col[2]} for col in columns]
schema_text = "\n".join(
f"Table: {table}\n" + "\n".join([f" - {col['column']} ({col['type']})" for col in columns])
for table, columns in schemas.items()
)
def ollama(question):
prompt = f"""
Here is my database schema:
{schema_text}
Based on this schema, generate an SQL query to answer the following question:
{question}
Please give me only the SQL request, nothing else.
"""
response = ollama.chat(model="mistral", messages=[{"role": "user", "content": prompt}])
return response["message"]["content"]
query = ollama("Find the longest track by genre." )
print(query)
---------------------
$ python3 sqlite-ai.py
SELECT tracks.Name, genres.Name as GenreName, MAX(tracks.Milliseconds) as LongestTrackLength
FROM tracks
JOIN genres ON tracks.GenreId = genres.GenreId
GROUP BY genres.GenreName
ORDER BY LongestTrackLength DESC, genres.Name;

Pour finir sur PDF ça dépends du nombre et de la taille, si tu n'as pas grand chose tu peux les loader les lire via pypdf les fournir en contexte au LLM et de même lui poser des questions "fais moi un résumé", ou toute question portant sur le/les documents. Si le nombre de PDF est grand et qu'ils sont volumineux tu peux utiliser chromadb+langchain, que tu peux loader aussi en python pour leur faire ingérer les PDF et filer le contexte au LLM pour lui poser tes questions (j'ai vu des articles sur ça, j'ai pas testé en local sur mon ordinateur).

Ça c'est si tu veux t'amuser à le faire toi même, sinon y'a des outils comme ça déjà dispo: https://github.com/jacoblee93/fully-local-pdf-chatbot

Dernier point mistral en local si tu lui poses des questions il répondra en anglais, il existe vigostral qui a été fine-tuned pour répondre en français.

Spoiler :

Après en général faut déjà faire attention aux réponses, mais le vigostral je sais pas exactement ce qui a été changé, donc prendre les résultats avec des pincettes il réponds souvent de la daube.

En local j'utilise très souvent microsoft phi4 même si un peu plus lent, je suis la plupart du temps satisfait des réponses. J'ai testé deepseek mais j'aime moins le style qui te raconte sa vie 5 minutes avant de répondre, c'est intéressant de voir le cheminement de pensée du LLM pour certaines questions mais pas tout le temps.

Message édité par Flaie le 15-02-2025 à 09:08:42

---------------
Always wear a camera!

Reply

Marsh Posté le 15-02-2025 à 12:04:55

Voilà un excellent point de départ !
Merci à toi !

Je vais creuser tout ça !

---------------
Topic Bougnat - Mon Topic de A/V - Nos créations 3D - Geek'n Craft 63

Reply

Marsh Posté le 16-02-2025 à 09:59:04

Tu suis les autres topics IA, comme celui de Discussions ?
Les sujets y sont probablement moins techniques et plus pratiques/éthiques que ce que tu veux aborder ici mais ça n'en est pas moins intéressant.

---------------
Topic .Net - C# @ Prog

Reply

Marsh Posté le 16-02-2025 à 13:21:09

Je ne les ai pas trouvé.
Donc je veux bien que tu partages le lien.

:jap: