LLM-Compress

Objectif

Ce projet explore les techniques de quantification et d'élagage (pruning) pour les modèles de langage (LLM) afin de réduire leur taille et leur complexité, facilitant ainsi leur déploiement sur des plateformes avec des ressources limitées. Le notebook de démonstration illustre spécifiquement le concept de quantification 4-bit.

Stack Technique

• Langage: Python
• Framework: PyTorch
• Outils: Jupyter Notebook pour les démonstrations interactives.

Installation

1. Cloner le dépôt :

   git clone https://github.com/Faneva619/LLM-Compress.git
   cd LLM-Compress

2. Installer les dépendances Python (PyTorch et nbformat) :

   pip install torch nbformat

3. Ouvrir le notebook de démonstration :

   jupyter notebook LLM_4bit_Quantization_Demo.ipynb

   (Assurez-vous d'avoir Jupyter installé, sinon pip install jupyter)

Projet en cours de développement par Faneva (Negro_Bot)