Поделись своим опытом файнтюна с коллегами! 🤝
Так как для этого урока достаточно сложно придумать задачу с проверкой - поделитесь с коллегами удачными находками, которые помогли вам зафайнтюнить модель под свою задачу.
Это могут быть:
- Свой интересный публичный датасет, который был собран под конкретный домен
- Публичный датасет с HF, с помощью которого удалось сделать файнтюн
- Зафайнтюненная модель, которую доучили самостоятельно
- Файнтюн, который нашелся на HF, идеально справился с задачей и не пришлось самим париться
- Удобный фреймворк для файнтюна или сбора датасетов
- Хорошо будет упомянуть какая задача решалась, какие потребовались ресурсы, сколько времени заняло.
Попробовал FT с guanaco_dataset, Llama2, PEFT и QLORA локально. Всё Получается. Одна эпоха, около часа. делал по туториалу, он описан в нескольких местах, вот например: https://medium.com/@sksinsights/fine-tuning-llama-2-a-step-by-step-guide-to-customizing-the-large-language-model-191c6459dcf2