🦄🦖 Зоопарк OpenSource LLM-моделей 🐢🐲

В этом уроке попытаемся разобраться как выбрать из сотни тысяч open-sourсe моделей ту, которая сможет отлично справляться с поставленной задачей, да ещё и сможет поместиться в ограниченные ресурсы.

Вместо советов по использованию конкретных семейств моделей и архитектур пройдёмся по всем ключевым точкам, чтобы сделать правильный выбор:

• Обзор базовых и файнтюненных моделей под разные задачи (chat, instruct, code)
• Посмотрим на популярные бэнчмарки и рейтинги моделей
• Научимся "впихивать невпихуемое" - квантизация, и ускорять инференс - Mixture of Experts.
• Посмотрим модели для русского языка и разных модальностей.
• Разберёмся с лицензиями
• И как всё это связать с LangChain.

Ноутбук урока(Colab)