21 February 2024
LLM Course | Chat converted a basic group to this supergroup «LLM Course v2»
26 February 2024
Artem Gruzdov joined group by link from Group
Кирилл Кожевников joined group by link from Group
КК
19:30
Кирилл Кожевников
Всем привет!
Подскажите пж по задаче 2.1

Только у меня проблема, что чатпгт добавляет в столбец amount значение content='число'?

Извращяюсь как могу, не нашёл где это настроить

# Преобразуем значения столбца amount к строковому формату
df['amount'] = df['amount'].astype(str)
# Удаление лишних символов из строки и преобразование к числовому формату
try:
df['amount'] = df['amount'].str.replace("'", "").str.split('=').str[1].astype(int)
except ValueError:
df['amount'] = df['amount'].apply(lambda x: np.nan if x == "'Я не знаю'" else x)
AM
19:42
Aleron Milenkin
In reply to this message
а пробовал заставить промптом не вставлять лишнее?
например примеры ответов показать
КК
19:49
Кирилл Кожевников
In reply to this message
да, вот так делаю
L
19:56
LLM Course | Chat
In reply to this message
Инструкцию про формат вывода лучше перенести в начало. В блок инструкций. А указатель ответа оставить пустым. Примеры ответа только с цифрами, тоже молоинформативны. Лучше так:
Вот несколько примеров:
Вопрос: текст вопроса
Ответ: 4

и.т.д.

И эти примеры поместить, где контекст. Смотрите шаблоны промптов и их структуру в ноутбуке урока.
КК
21:03
Кирилл Кожевников
In reply to this message
Поменял структуру, всё равно пишет content='1' и тд
21:05
гляну готовые решения
AM
21:06
Aleron Milenkin
In reply to this message
few-shot = добавь примеры!


ищу жилье на троих -> 3
ищу вариант на жену, меня и дочь - > 3
нужна комната на 4 чел - > 4
КК
21:26
Кирилл Кожевников
Блинский, всё оказалось просто как всегда:

Была ошибка: LangChainDeprecationWarning: The function predict was deprecated in LangChain 0.1.7 and will be removed in 0.2.0. Use invoke instead.
warn_deprecated(

Ну поменял llm.predict(prompt) на llm.invoke(prompt)

А invoke этот выдаёт [AIMessage(content='1')]
27 February 2024
sergey guryan joined group by link from Group
Дмитрий Зиновеев joined group by link from Group
28 February 2024
février joined group by link from Group
29 February 2024
Pavel Grigorev joined group by link from Group
1 March 2024
sg
11:04
sergey guryan
привет @dfeeler
11:04
11:04
а когда откроют следующие разделы. Вроде должны были сегодня, но даты поменялись
AG
11:13
Artem Gruzdov
К марту Алерон планировал уже весь курс выложить, но потом канал украли и этого сообщения уже не найти)
Eduard joined group by link from Group
E
11:50
Eduard
Всем привет.
Я решил это задание, но с безумными костылями в виде постобработке "замусоренного" ответа от агента.

Я реализовал парсер, но он работает "через раз" и не даёт стабильного ответа т.е. в нем может содержаться как ожидаемый мною ключ math_answer, так и то что я не ожидаю увидеть (это видно на изображении).

Вопрос, не могли бы вы подсказать, как агента "заставить" возвращать ответ, который я задал в парсере?

Мой ноутбук.
Nazar Niyazov joined group by link from Group
2 March 2024
E
07:46
Eduard
In reply to this message
Ребят, есть мысли, как решить мою проблему?))
AM
07:48
Aleron Milenkin
In reply to this message
три варианты

- исправить промпотом
- добавить few-shot
- добавить на выход свой обработчик, на случай, если ключ имеет лишние части
4 March 2024
Артур Бобрович joined group by link from Group
АБ
18:29
Артур Бобрович
АБ
Артур Бобрович 04.03.2024 18:01:40
привет
АБ
19:04
Артур Бобрович
кстати, там у вас ноутбуку RAG плохо стало
L
19:05
LLM Course | Chat
In reply to this message
Что с ним?
АБ
19:05
Артур Бобрович
часть вправо поехала
19:06
а если скачитвать, то вот
19:07
в целом не критично, просто сказал вам на всякий
daniil joined group by link from Group
6 March 2024
КК
17:42
Кирилл Кожевников
Всем привет!
Задание 2.2

Почему то гпт на выходе выдаёт такое, будто считает поступаемый текст за несколько заданий

Промпт:

prompt_template = """
Ответь на вопрос, опираясь на контекст ниже.
Тебе будет поступать текст, который может содержать спам или полезную информацию, вопрос по теме для тех,
кто интересуется темой криптовалют, блокчейна, децентрализованных систем.


Context: {text_input}
Вот несколько примеров:
Вопрос-Удаленная работа. От нас: Зп от 2500$
Ответ-1
Вопрос-Что вы думаете о концепции децентрализованных бирж (DEX)? Какие преимущества они предоставляют по сравнению с традиционными биржами?
Ответ-0
Вопрос-Удалённый заработок. Время 1-2 часа в день. Можно без опыта всему обучим. заработок в долларах. Возраст 20+
Ответ-1
Вопрос-Майнинг Bitcoin потребляет много электроэнергии, и эффективность майнинга стала важным вопросом для экологии.
Ответ-0
Вопрос-Если у вас есть талант к анализу данных, рассмотрите карьеру аналитика криптовалютных рынков.
Ответ-0


Question: Для каждого сообщения необходимо определить, является ли оно спамом или не спамом.
Если сообщение спам, поставь '1'.
Если сообщение не спам, поставь '0'.
Верни ответ в числовом формате int, строка принимает только '0' или '1'.

Answer:

"""
Aleron Milenkin created topic «Новости»
AM
17:47
Aleron Milenkin
In reply to this message
📌 В этой теме мы будем публиковать новости по курсу.

А вы можете обсуждать анонсы и спрашивать, что-то в духе:
"Когда уже случится X?"
Aleron Milenkin created topic «Свободное общение»
AM
17:49
Aleron Milenkin
In reply to this message
📌 В этой теме можно свободно общаться, делиться тем что нашли в интернете и отвечать на то что пишут другие.
Aleron Milenkin created topic «Вопросы по курсу»
AM
17:54
Aleron Milenkin
In reply to this message
📌 В этой теме вы можете задать вопросы по содержанию курса.

Если не понятно какое-то задание или хочется предложить формулировку получше или просто хотите сказать что что-то получилось круто - эта тема для вас.
КК
18:07
Кирилл Кожевников
In reply to this message
Дублирую сюда

Всем привет!
Задание 2.2

Почему то гпт на выходе выдаёт такое, будто считает поступаемый текст за несколько заданий

Промпт:

prompt_template = """
Ответь на вопрос, опираясь на контекст ниже.
Тебе будет поступать текст, который может содержать спам или полезную информацию, вопрос по теме для тех,
кто интересуется темой криптовалют, блокчейна, децентрализованных систем.


Context: {text_input}
Вот несколько примеров:
Вопрос-Удаленная работа. От нас: Зп от 2500$
Ответ-1
Вопрос-Что вы думаете о концепции децентрализованных бирж (DEX)? Какие преимущества они предоставляют по сравнению с традиционными биржами?
Ответ-0
Вопрос-Удалённый заработок. Время 1-2 часа в день. Можно без опыта всему обучим. заработок в долларах. Возраст 20+
Ответ-1
Вопрос-Майнинг Bitcoin потребляет много электроэнергии, и эффективность майнинга стала важным вопросом для экологии.
Ответ-0
Вопрос-Если у вас есть талант к анализу данных, рассмотрите карьеру аналитика криптовалютных рынков.
Ответ-0


Question: Для каждого сообщения необходимо определить, является ли оно спамом или не спамом.
Если сообщение спам, поставь '1'.
Если сообщение не спам, поставь '0'.
Верни ответ в числовом формате int, строка принимает только '0' или '1'.

Answer:

"""
L
18:21
LLM Course | Chat
In reply to this message
Выглядит как рабочий промпт.
Может его минусы перед 0 1 путают. Плюс инструкции по всему промпту размазаны. Может в коде что-то?
КК
18:32
Кирилл Кожевников
In reply to this message
Добился корректного ответа таким промптом (больше вопросов-ответов), но правда 52% только)

prompt_template = """
Ответь на вопрос, опираясь на контекст ниже.
Тебе будет поступать текст, который может содержать спам или полезную информацию, вопрос по теме для тех,
кто интересуется темой криптовалют, блокчейна, децентрализованных систем.


Context: {text_input}
Вот несколько примеров:
Вопрос-Удаленная работа. От нас: Зп от 2500$
Ответ-1
Вопрос-Что вы думаете о концепции децентрализованных бирж (DEX)? Какие преимущества они предоставляют по сравнению с традиционными биржами?
Ответ-0
Вопрос-Удалённый заработок. Время 1-2 часа в день. Можно без опыта всему обучим. заработок в долларах. Возраст 20+
Ответ-1
Вопрос-Майнинг Bitcoin потребляет много электроэнергии, и эффективность майнинга стала важным вопросом для экологии.
Ответ-0
Вопрос-Если у вас есть талант к анализу данных, рассмотрите карьеру аналитика криптовалютных рынков.
Ответ-0
Вопрос-Концепция криптовалюты была предложена в 1998 году Тимом Мэйком, задолго до создания Bitcoin.
Ответ-0
Вопрос-Какие ваше мнение о проблеме масштабируемости в блокчейне?
Ответ-0
Вопрос-Что вы думаете о связи между криптовалютами и экологическими проблемами? Некоторые говорят, что майнинг Bitcoin негативно влияет на окружающую среду
Ответ-0


Question: Для каждого сообщения необходимо определить, является ли оно спамом или не спамом.
Если сообщение спам, поставь '1'.
Если сообщение не спам, поставь '0'.
Верни ответ в числовом формате int, строка принимает только '0' или '1'.

Answer:

"""
8 March 2024
АБ
09:38
Артур Бобрович
In reply to this message
Кто нибудь знает, где можно купить акк от OpenAI с тиром(денежный лимит/день) повыше?
Срочно надо, а одобрение на повышение своего лимита долго ждать просто
D
09:43
Daria
In reply to this message
Может есть на plati.market? А если нету, то может кому из продавцов там в личку постучаться? Сорри, если это прям банальный совет 😅
АБ
09:44
Артур Бобрович
In reply to this message
Да нет, совет важный! Спасибо вам)
AG
11:29
Artem Gruzdov
In reply to this message
Так когда уже случится открытие следующих модулей?
9 March 2024
КК
17:48
Кирилл Кожевников
In reply to this message
офигеть, подрубил гигачат (лайт) и он выдал 93% сразу на ⚔️ Spam 🆚 Crypto

Долго такого не мог добиться от чатгпт 3.5

Upd
Плохо работает с агентами
11 March 2024
ZR
07:43
Zalina Rusinova
Привет! А можете подсказать какие-то материалы по метрикам для оценки llm?
f
07:56
février
+
07:57
Особенно для решений с помощью llm
E
08:50
Eduard
In reply to this message
ZR
15:55
Zalina Rusinova
In reply to this message
Спасибо большое! а еще подскажите, что есть для русского языка кроме сберовских моделей и сайги? из того, что стоило бы посмотреть
E
16:09
Eduard
In reply to this message
Раз, два и три. От себя скажу, что руками я их не трогал, просто держу их в своём "окне контекста"))

А какую задачу вы решаете?
16:14
In reply to this message
три.

Я беглого ознакомления. Как я понял это более удобная оценка LLM реализованная при помощи LLM-оценщика, описанного в одной из статей, что я кидал ранее.
16:18
In reply to this message
ZR
17:05
Zalina Rusinova
In reply to this message
Спасибо огромное. Решаю задачу поиска ответов на вопросы по нормативке
12 March 2024
Aleron Milenkin created topic «Нашел баг или ошибку?»
AM
19:27
Aleron Milenkin
In reply to this message
🪲В этой теме можно делиться всем, что можно поправить в курсе, если что-то перестало работать или устарело.

🤑 Вы сможете поделиться своей болью, а мы будем узнавать о том что можно сделать лучше и вносить правки.
14 March 2024
ЮП
07:57
Юрий Прудников
Салют
Подскажите плиз, замечал ли кто нибудь разницу в качестве ответов при работе с промптами на английском и на русском? Стоит ли заморачиваться и писать на английском? За статьи на эту тему тоже буду благодарен.
ММ
07:59
Максим Марков
In reply to this message
сам не заморачивался, но многие говорят, что ответы при работе с английским лучше. плюс токенов получается меньше
DA
07:59
Dolganov Anton
зависит от модели наверное

скорее от токенизатора
ЮП
07:59
Юрий Прудников
Интересны gpt 3.5, 4, claude 3
DA
08:00
Dolganov Anton
всё равно они "думают" на английском

как-то давал запрос на русском языке в hugging face chat

так он начал отвечать на русском
через абзац сломался и (что интересно достаточно непрерывно) перешёл на английский
ЮП
08:01
Юрий Прудников
In reply to this message
Они вообще не думают на языке, там принципиално по другому)
DA
08:04
Dolganov Anton
In reply to this message
думают в контексте того что (грубо говоря) эмбединги привязаны к токенам
а токенов больше для английских слов в условных gpt

Русские слова скорее входят чуть ли не полностью

Другое дело Неонки от Сбера и прочие YandexGPT
ЮП
08:06
Юрий Прудников
Я YandexGPT тыкал, субъективно хуже, чем GPT 3.5. Но субъективно, реально пока не оценивал.
Ладно, буду пока на русском промпты писать, как выстрою систему тестирования - попробую и разные промпты, и разные модели)
08:10
Статейка на эту тему
08:10
Если коротко, зависит от модели
ЮП
08:11
Юрий Прудников
Спасибо!
f
12:04
février
Здравствуйте! У меня есть трудности с созданием цепочек LCEL в langchain. Не всегда получается сделать что то работающее, приходится строго прописывать. Такой вопрос есть, в документации не очень понятно объяснено, зачем нужен RunnablePasstrough в langchain?
ЮП
16:47
Юрий Прудников
In reply to this message
Можешь скинуть конкретные кейсы, что не получается?
GT
16:58
Grigorii Tarasov
In reply to this message
Детерминированый пример на котором можно проверять операции с колонками

from langchain_core.runnables import RunnablePassthrough, RunnableParallel

# Define the input data
input_data = {"num": 1}

# Create a RunnablePassthrough to pass the input unchanged
passed = RunnablePassthrough()

# Create a RunnablePassthrough with additional keys using the assign method
extra = RunnablePassthrough.assign(mult=lambda x: x["num"] * 3)

# Define a lambda function to modify the input
modified = lambda x: x["num"] + 1

# Combine the runnables in a RunnableParallel to create separate branches of processing
runnable = RunnableParallel(
passed=passed,
extra=extra,
modified=modified
)

# Invoke the RunnableParallel with the input data
result = runnable.invoke(input_data)

# Output the result
print(result)

{'passed': {'num': 1},
'extra': {'num': 1, 'mult': 3},
'modified': 2}
f
19:41
février
In reply to this message
Например, есть промпт, с {format_instructions} и {context}, есть PydanticOutputParser, есть OpenAI text-moderation, ChatOpenAI, и RetryOutputParser на PydanticOutputParser. В общем цепочка - поступает format instructions и context и надо сначала контекст в text-moderation, потом если прошло, то format instructions и context нужно в промпт, потом через ллм, а потом результат в RetryOutputParser
19:42
Но там во первый почему то RetryOutputParser ошибку выдавал так что я оставил только Pydantic
19:42
Но все равно вот такие разветвления сделать не получилось, не знаю как сделать чтобы аргументы через звенья перескакивали
V
19:58
Vlad
Кто нибудь mixstral через tgi подтягивал?
ЮП
20:14
Юрий Прудников
In reply to this message
Не, друг, так не пойму
Скинь плиз ссылку на код
15 March 2024
ZR
08:27
Zalina Rusinova
Всем привет! кто-нибудь подскажет материалы, или может быть опыт есть по созданию датасетов для дообучения и бенчмарков для оценки?
16 March 2024
ZR
10:31
Zalina Rusinova
Привет! Можете подсказать, как лучше подобраться к задаче? Есть результаты опроса пользователей 42 вопросов, но на каждый вопрос отвечают 3 группы компании (зрелые, незрелые, эксперные) порядка 17 ответов на каждый вопрос. Итого =42*17= 714 индексированных ответов. хочу получить анализ результатов опросов. все это поместить в контекст chatgpt 3.5 пока не получается. В какую сторону подумать? Попробовать open-source с большим объемом контекста, но я боюсь, что используя Yarn-Mistral-7b-128k сильно потеряю в качестве ответов.
f
10:33
février
На ум приходит просить по каждому вопросу по каждой отдельной группе модель суммаризировать резы сначала
10:33
Потом объединять по вопросу и тоже просить суммаризировать
10:33
Потом получится 42 вывода
ZR
10:33
Zalina Rusinova
спасибо за идею, да, можно попробовать
f
10:37
février
In reply to this message
Группировать мб вопросы сами потом по похожести
10:37
Типо если вопрос о качестве обслуживания и о быстроте ответа
10:37
Можно обьединить
10:37
И тоже суммаризировать
ZR
10:38
Zalina Rusinova
ну да, с такими вопросами проще. а вот с общими проблема
10:38
спасибо!
ЮП
12:30
Юрий Прудников
Салют
А есть у кого примеры работы с claude 3 через langchain?
NN
13:19
Nazar Niyazov
In reply to this message
У платного chatgpt 4 plus есть advanced data analysis.
Ему можно загружать файлы и просить сделать анализ.

В ютубе примеры, где он весьма неплохо делает eda, строит графики и даже линейку с весами может сделать и показать.

Заявляется, что можно загружать файлы до 500 мб.

Личные впечатления хуже. Csv с 75000 строк он скушал и весьма неплохо проанализировал, но json в 500 мб и даже 40 мб загрузить не смог.
Судя по форумам, это распространенная проблема.

Так что как он работает с текстовыми данными, не могу сказать.

Думал попробовать подать ему json через апи. Мб, там окно контекста больше
ZR
13:19
Zalina Rusinova
In reply to this message
Спасибо огромное!!
17 March 2024
ЮП
18:00
Юрий Прудников
Привет!
Подскажите пожалуйста, как из объекта класса langchain_core.runnables.base.RunnableSequence получить сырой текст, который в итоге отправляется в LLM? Или из langchain_core.prompts.chat.ChatPromptTemplate.
18 March 2024
f
18:43
février
Здравствуйте, по этому коду не понятно, почему ретривер оценил самый подходящий ответ про гарантию самым низким score, и все равно поставил его на 1 место?
Может там по убыванию важность score наоборот идет?
ZR
19:08
Zalina Rusinova
In reply to this message
Привет. Он возвращает l2 расстояние. Чем меньше, тем ближе
f
19:09
février
ой, не знал, благодарю
АБ
20:50
Артур Бобрович
Ребят, привет
Такая проблема, при поступлении запроса пользователя, мой поиск по векторной базе берёт не те вектора(не с тех файлов их тянет, целпяется за похожие слова, а не за смысл), кто нибудь знает как это можно исправить?
f
20:51
février
можно попробовать различные методы поиска
20:51
не только similarity
20:51
есть еще разные
20:51
ретриверы тоже разные пробуйте
20:52
вот на курсе показали как ансамбль из ретриверов использовать
АБ
20:53
Артур Бобрович
ага, спасибо большое!
f
20:53
février
и эмбеддинги тоже роль играют
АБ
20:55
Артур Бобрович
ну я вот тоже думаю, что у меня эмбендинги не достаточно смысла в себе несут
f
20:55
février
у вас есть требование к локальным эмбеддингам?
АБ
20:55
Артур Бобрович
я думал как то с помощью ельмо
20:55
In reply to this message
это как?
f
20:56
février
ну типо вдруг задача запрещает данные выносить с сервера
20:56
передавать
АБ
20:56
Артур Бобрович
нет
20:56
такого нет
f
20:56
février
а вы не пробовали как на курсе?
АБ
20:57
Артур Бобрович
не пробовал, надо посмотреть
f
20:57
février
с hugging face
20:57
In reply to this message
там показано, эмбеддинги отлично себя показывают
АБ
20:57
Артур Бобрович
In reply to this message
я вообще в качесте ретирвера использовал саму векторную базу, типо fiass.as_retriever
f
20:57
février
20:58
In reply to this message
ну там тоже можно параметры задавать
20:58
search_type
20:58
In reply to this message
если хорошие эмбеддинги то пойдет
АБ
20:59
Артур Бобрович
а как улучшить?
20:59
ембендинги
20:59
In reply to this message
типо так?
f
20:59
février
In reply to this message
ну они норм
20:59
у меня опыт небольшой
АБ
21:06
Артур Бобрович
да, ща ченкул
21:06
реально openAI не топ
f
21:18
février
Ребят, такой вопрос, вот допустим у меня есть образовательная платформа, на ней хранятся курсы, в файловой структуре это -
папка с курсами
папка курса
папка модуля
занятие 1.txt
21:18
и мне надо сначала по вопросу пользователя узнать к какому курсу человек обращается
21:19
там к ним есть описания и названия
21:19
потом уже по курсу получаем куда идти за текстами занятий
21:19
и их потом подгружать
21:20
но для этого получается надо либо кучу отдельных векторных баз хранить для каждого курса отдельно
21:20
либо каждый раз ее при запросе просчитывать
21:20
нет ли иных способов реализовать такую систему?
21:20
я думаю первый способ конечно лучше
ZR
21:22
Zalina Rusinova
кастомный ретривер написать, в доке есть пример
21:24
что-то такое еще напрашивается
f
21:26
février
Спасибо большое, все изучу
21:26
In reply to this message
У меня просто такая привычка, вижу задачу с какими то вот вложенными данными и думаю, придется хардкодить
ZR
21:28
Zalina Rusinova
поделитесь, если разберетесь? я с neo4j немного знакомилась - классная штука, графовая бд.. но к такой задаче не до конца понимаю, можно ли применить
f
21:30
février
In reply to this message
Постараюсь сегодня
19 March 2024
B
09:24
Behzod
Ребята привет всем) подскажите пожалуйста, как к такому прийти, с чего начать какие тех использовать. Буду очень благодарен фидбеку
https://www.youtube.com/watch?v=RBMJ2tMojxs&t=99s
09:25
In reply to this message
Хочу сделать ai agenta который будет общаться с клиентом и будет потом запращивать некоторые данные, потом сохранив их отправить в API для сохранения.
АБ
09:28
Артур Бобрович
ну на сколько я понимаю это можно сделать на основе берта какого нибудь
09:28
они вроде хорошо могут выцепить слово из контектса по вопросу
09:29
по сути надо прикрутить ещё одну модель, которая цепляла бы данные из сообщений
09:29
на hf можешл поискать
09:30
там должны быть модельки прям под эту задачу
B
09:33
Behzod
In reply to this message
спасибо за ответы), как поискать как feauture extraction?
B
09:40
Behzod
In reply to this message
Эту просто к OPENAI боту? Будет чатбот с опенай и бертом например выше?
09:40
In reply to this message
спасибо большое!
АБ
09:41
Артур Бобрович
In reply to this message
ну типо того
09:41
просто логику наладишь как тебе надо
E
10:08
Eduard
In reply to this message
Вопрос где это хостить всё
B
10:17
Behzod
In reply to this message
Это уже другая история 😅
АБ
10:20
Артур Бобрович
In reply to this message
Сервак за денюшки
DA
10:22
Dolganov Anton
In reply to this message
Как удобно что huggingface продают серверные мощности
)
E
10:32
Eduard
Это всё понятно, конечно же.

Как вариант api найти, мб это будет дешевле, чем арендовать серверные мощности.
АБ
10:52
Артур Бобрович
In reply to this message
Ну за апи как правило платить надо
E
10:56
Eduard
In reply to this message
АБ
11:02
Артур Бобрович
АБ
Артур Бобрович 19.03.2024 10:58:54
Я вот кста вчера хотел потестить эту модельку
https://huggingface.co/Salesforce/SFR-Embedding-Mistral

Но не нашёл к ней ключики, а качать её ну так, дороговато
11:02
Мб всё таки можно где то найти ключик к ней?
ZR
11:41
Zalina Rusinova
In reply to this message
А что за ключики и почему качать дороговато?
11:41
Локально развернуть можно, только зачем?
АБ
13:16
Артур Бобрович
In reply to this message
ключи API, что вычисления проводились удалённо на сервере автора модели (вроде как)
а качать дороговато, потому что она требует вычислтиетльного русурса много
13:17
оперативки на 40 гигов
ZR
13:23
Zalina Rusinova
In reply to this message
обучение модели, не вычисления. сомневаюсь, что она где-то развернута. Придется локально. Качать веса условно бесплатно ) разворачивать, да ) можно в коллаб\на каггл пойти, чтобы потестить. Можно снизить точность до 8 бит
13:25
а язык русский? или английский?
АБ
13:29
Артур Бобрович
ru
ZR
13:50
Zalina Rusinova
понятно. ну да, с русским языком немного посложнее
13:58
жалко, что нет лидерборда для русского языка
as
20:46
aleksandr serobabov
Тупой вопрос, но как использовать опен сорс модели для выполнения заданий? Какую модель взять на hugging face?
SG
21:01
Sergey GL
In reply to this message
А кто-нибудь пробовал загрузить через API grok-1 и спросить вопрос. Мне выдает ошибку
ZR
21:03
Zalina Rusinova
In reply to this message
SG
21:06
Sergey GL
In reply to this message
Спасибо, я думал inference api это то что через hugging face на сайте.
ZR
21:07
Zalina Rusinova
In reply to this message
Так сервер-то один
L
22:08
LLM Course | Chat
In reply to this message
Вроде с сайгой-мистраль норм результаты у студентов получались
22:10
Только она на обычно колабе не запускается. На каггле работает. Либо если домашний мощный, то потянет
20 March 2024
as
07:14
In reply to this message
Вот эта?
L
09:44
LLM Course | Chat
In reply to this message
Да
EM
14:11
Evgeniya Moseeva
Добрый день! Помогите плиз 🙏 решить задачу 3.2.9. Чет убилась, и все равно не получается собрать цепочку LCLE : https://colab.research.google.com/drive/1i5v-lWsmLr47w80WudY1sD_DY4oH2rtr?usp=sharing
ZR
14:19
Zalina Rusinova
Привет! а кто-нибудь покупал pro-аккаунт на hf из России?
EM
18:59
Evgeniya Moseeva
In reply to this message
Добрый день! Помогите плиз 🙏 решить задачу 3.2.9. Чет убилась, и все равно не получается собрать цепочку LCLE : https://colab.research.google.com/drive/1i5v-lWsmLr47w80WudY1sD_DY4oH2rtr?usp=sharing
L
23:11
LLM Course | Chat
In reply to this message
Посмотрите внимательно вот этот ноутбук, где аутпут парсер разбирался: https://colab.research.google.com/github/a-milenkin/LLM_practical_course/blob/main/notebooks/M2.2_LangChain_Prompting.ipynb
23:11
In reply to this message
Вы в промпте формат инструкшнс не передаете, поэтому модель вам и не возвращает, что вы от неё ждете
EM
23:12
Evgeniya Moseeva
In reply to this message
🙏❤
R
23:13
RemoveJoinGroupMsgBot by @Bot442
This group uses @RemoveJoinGroupMsgBot to remove joined group messages. Add the bot to your group to keep the conversation clean.
21 March 2024
as
12:07
aleksandr serobabov
In reply to this message
Эх, что то оперативы не хватает на своём компе. А если на колабе прем взять смогу её запустить? Так как без прямая тоже не хватает ОЗУ
L
12:08
LLM Course | Chat
In reply to this message
На каггле тогда, там 30Гб
as
12:08
aleksandr serobabov
In reply to this message
А, ок. Попробую там
as
13:48
aleksandr serobabov
А может OpenAI на основании того как он парсит данные из строки составить регулярные выражения?
22 March 2024
B
08:34
Behzod
Всем привет!
Подскажите пожалуйста, когда у меня есть два агента, один ассистент который общается клиентом и получает инфу, а второй должен ждать окончании беседы потом в конце только делать дейсьвие , у меня такое не получается второй вмешивается в середине, использую autogen, autogenstudio может кто подсказать как контролировать их?
KK
13:42
Kirill Korobkin
Ребят, привет. Думаю приобрести курс. Смущает вот что: с математикой я вообще никак не дружу. Что посоветуете комплектом изучать с этим курсом в моем случае?
L
13:44
LLM Course | Chat
In reply to this message
Этот курс практический. Математика особо не требуется
АБ
13:45
Артур Бобрович
In reply to this message
Вообще в ML существует несколько принципов которые надо понимать.
Моё мнение, если ты понимаешь что такое матрица/производная и обладаешь некоторым логическим мышлением, специально ничего учить смысла нет
13:47
Потому что ну, условно, интуитивно понять что есть градиент функции довольно просто, если знаешь что такое производная функции от одной переменной
Ну тервер ещё, тоже интуитивно понятные азы
13:48
In reply to this message
Лучше начать проходить курс, а там ты уже сам будешь чувствовать, какая математика тебе нужна и на что тратить время
13:49
Многое что советуют, есть то же самое что, пригнать трактор чтобы сделать куличик из песка
13:49
Ну это конечно не относится к области ресёрча
13:50
*К критике высказываний открыт*
DA
14:06
Dolganov Anton
In reply to this message
Вопрос вы хотите дополнительно что-то изучать «чтобы что»?


С практической точки зрения математика в курсе не сильно требуется
Пожалуй всплывет в районе блока про генерации признаков

В остальном «в среднем» знай себе какие функции в библиотеке за что отвечают
Какой у них вход/ выход
И поехали вжимать fit/ptedict

Благо современные библиотеки пишут чтобы ими в среднем пользовались широкий круг пользователей

Другое дело что по-хорошему что-то да понимать всё-таки нужно

Чтобы не сводить всё к черным ящикам и околорелигиозному отношению )

А так про математику в DS есть хорошая статья на habr

https://habr.com/ru/amp/publications/676114/

(как выяснилось от одного из авторов курса)
24 March 2024
A
18:30
Alexey
Здравствуйте, на задании 1.3 получаю сообщение "F:\Python\Python312\Stepik>python test.py
F:\Python\Python312\Lib\site-packages\langchain\chat_models\init.py:31: LangChainDeprecationWarning: Importing chat models from langchain is deprecated. Importing from langchain will no longer be supported as of langchain==0.2.0. Please import from langchain-community instead:

from langchain_community.chat_models import ChatOpenAI.

To install langchain-community run pip install -U langchain-community.
warnings.warn(
F:\Python\Python312\Lib\site-packages\langchain\embeddings\init.py:29: LangChainDeprecationWarning: Importing embeddings from langchain is deprecated. Importing from langchain will no longer be supported as of langchain==0.2.0. Please import from langchain-community instead:

from langchain_community.embeddings import OpenAIEmbeddings.

To install langchain-community run pip install -U langchain-community.
warnings.warn(
2"
18:30
как починить, я так понимаю, что то не так с библиотекой?
L
18:33
LLM Course | Chat
In reply to this message
В принципе, в варнинге всё написано что делать. Установить лэнгчейн-комьюнити и импортировать оттуда класс.
Как раз сейчас обновляем все ноутбуки из-за новых изменений, скоро выйдет апдейт.
18:37
In reply to this message
Скоро обновим utils.py - должно заработать
18:41
In reply to this message
Вообще, всё работает - это просто предупрежджение, что в будущих версиях перестанет работать.
18:43
In reply to this message
А можете уточнить в каком это задании? Точно 1.3?
A
19:26
Alexey
1. Для питона на windows установил библиотеки. 2. скачал utils. 3. на шаге 1.3 выполняю скрипт , использующий utils и подставляя ключ выданный для курса через бот. скрипт использующий "from utils import NDTOpenAI"
19:36
Но llm работает , ответ возвращает
L
19:44
LLM Course | Chat
Сейчас обновил утилс и ноутбук - должно без варнингов работать
A
20:01
Alexey
In reply to this message
перестало работать: выдает "F:\Python\Python312\Stepik>python test.py
Traceback (most recent call last):
File "F:\Python\Python312\Stepik\test.py", line 14, in <module>
from utils import NDTOpenAI
File "F:\Python\Python312\Stepik\utils.py", line 17, in <module>
from langchain_openai import ChatOpenAI as GPT
ModuleNotFoundError: No module named 'langchain_openai'"
L
20:14
LLM Course | Chat
Надо сделать !pip install langchain_openai
A
20:42
Alexey
In reply to this message
помогло, отработал успешно
A
21:00
Alexey
Задание 1.3 Шаг 6 "LLM локально" HuggingFace указано что должны быть скачаны веса необходимой модели, но при этом инструкции на скачивания весов нет, а в коде указано что модель скачается автоматически. Выдается ошибка: "F:\Python\Python312\Lib\site-packages\langchain\llms\init.py:548: LangChainDeprecationWarning: Importing LLMs from langchain is deprecated. Importing from langchain will no longer be supported as of langchain==0.2.0. Please import from langchain-community instead:

from langchain_community.llms import HuggingFacePipeline.

To install langchain-community run pip install -U langchain-community.
warnings.warn(
None of PyTorch, TensorFlow >= 2.0, or Flax have been found. Models won't be available and only tokenizers, configuration and file/data utilities can be used.
Traceback (most recent call last):
File "F:\Python\Python312\Lib\site-packages\langchain_community\llms\huggingface_pipeline.py", line 126, in from_model_id
model = AutoModelForCausalLM.from_pretrained(
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "F:\Python\Python312\Lib\site-packages\transformers\utils\import_utils.py", line 1412, in getattribute
requires_backends(cls, cls._backends)
File "F:\Python\Python312\Lib\site-packages\transformers\utils\import_utils.py", line 1400, in requires_backends
raise ImportError("".join(failed))
ImportError:
AutoModelForCausalLM requires the PyTorch library but it was not found in your environment. Checkout the instructions on the
installation page: https://pytorch.org/get-started/locally/ and follow the ones that match your environment.
Please note that you may need to restart your runtime after installation.


The above exception was the direct cause of the following exception:

Traceback (most recent call last):
File "F:\Python\Python312\Stepik\test2.py", line 9, in <module>
bloom = HuggingFacePipeline.from_model_id(
^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^
File "F:\Python\Python312\Lib\site-packages\langchain_community\llms\huggingface_pipeline.py", line 161, in from_model_id
raise ValueError(
ValueError: Could not load the text-generation model due to missing dependencies."
L
23:12
LLM Course | Chat
In reply to this message
Обновил ноутбук. Нужно выполнить эту ячейку перед запуском ноутбука
25 March 2024
A
17:27
Alexey
In reply to this message
выполнил , но не помогло
17:27
F:\Python\Python312\Lib\site-packages\langchain\llms\init.py:548: LangChainDeprecationWarning: Importing LLMs from langchain is deprecated. Importing from langchain will no longer be supported as of langchain==0.2.0. Please import from langchain-community instead: from langchain_community.llms import HuggingFacePipeline. To install langchain-community run pip install -U langchain-community. warnings.warn( None of PyTorch, TensorFlow >= 2.0, or Flax have been found. Models won't be available and only tokenizers, configuration and file/data utilities can be used. Traceback (most recent call last): File "F:\Python\Python312\Lib\site-packages\langchain_community\llms\huggingface_pipeline.py", line 126, in from_model_id model = AutoModelForCausalLM.from_pretrained( ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "F:\Python\Python312\Lib\site-packages\transformers\utils\import_utils.py", line 1412, in getattribute requires_backends(cls, cls._backends) File "F:\Python\Python312\Lib\site-packages\transformers\utils\import_utils.py", line 1400, in requires_backends raise ImportError("".join(failed)) ImportError: AutoModelForCausalLM requires the PyTorch library but it was not found in your environment. Checkout the instructions on the installation page: https://pytorch.org/get-started/locally/ and follow the ones that match your environment. Please note that you may need to restart your runtime after installation.
EM
17:31
Evgeniya Moseeva
Добрый вечер! Столкнулась с проблемой, второй день не запускается langchain_openai. Делаю задачу 3.2.9. Работаю с ключом курса. Запускаю : from utils import ChatOpenAI
from getpass import getpass

#course_api_key= "Введите ваш API ключ, полученный в боте курса"
course_api_key = getpass(prompt='Введите ваш API ключ, полученный в боте курса')

# инициализируем языковую модель
llm = ChatOpenAI(temperature=0.0, course_api_key=course_api_key) Выдает ошибку:
L
17:57
LLM Course | Chat
In reply to this message
Надо выполнить !pip install langchain-openai
17:58
Опять обновление лэнгчейн вышло, и теперь многие классы из других мест импортируются. Скоро выпустим апдейт всех ноутбуков
EM
17:59
Evgeniya Moseeva
In reply to this message
Ранее , все так же запускала, работала, а вчера и сегодня- никак. Попробую через : !pip install langchain_openai
L
17:59
LLM Course | Chat
Часть уже обновили, ноутбуки для решения задач пока нет
EM
18:02
Evgeniya Moseeva
In reply to this message
Да, помогло. Спасибо🙏
26 March 2024
GT
07:05
Grigorii Tarasov
Вопрос по агентам не необходимый для прохождения курса:

Агент применяет иногда инструменты без учёта больших букв, например так:
...
Action: Human
Action Input: Can you please translate the question for me? [0m
Observation: Human is not a valid tool, try one of [Search, human].
...
иногда правильно:
...
Thought: [32;1m [1;3mI should ask the user for more information on where I can find the course.
Action: human
Action Input: Can you provide a direct link to the course on Stepik? [0m
...

Как вы с этим боритесь?)
ВГ
13:43
Владимир Горобец
In reply to this message
Привет. Начал проходить курс. Пробую различные варианты с API. На варианте с использованием модели HuggingFace локально вылетает такая ошибка:
L
13:47
LLM Course | Chat
In reply to this message
У вас старая версия ноутбука, обновите репозиторий
ВГ
13:48
Владимир Горобец
In reply to this message
это со страницы курса
L
13:48
LLM Course | Chat
In reply to this message
колаб?
ВГ
13:48
Владимир Горобец
In reply to this message
13:49
In reply to this message
L
13:51
LLM Course | Chat
In reply to this message
Понял, это ещё не обновлено. Попробуйте кусок кода из вэлком ноутбука во втором стэпе этого урока
L
13:52
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 26.03.2024 12:47:15
In reply to this message
🤖 Привет, LLM'щикам и LLM'щицам!

⚡️У нас новости о работе по курсу от команды разработки:

Из-за большого обновления langchain, пришлось вносить изменения во все материалы курса. Сейчас обновляем все ноутбуки курса, ноутбуки для решения задач, утилиту utils.py. 💀

🔥Прямо сейчас часть может работать не корректно, но уже около 1/3 обновили. Если столкнётесь с неисправностями, напишите, пожалуйста в чат!

Новый урок по агентам задерживается, так как после обновления функционал агентов не работает с ключом курса, только с ключом ChatGPT - переделываем серверную часть.💻


В общем, работаем над тем чтобы ноутбуки продолжали работать, как надо.

Ближайший апдейт модулей на подходе. На неделе расскажем вам больше подробностей. Stay tuned! 💻
L
13:52
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 26.03.2024 12:47:15
In reply to this message
🤖 Привет, LLM'щикам и LLM'щицам!

⚡️У нас новости о работе по курсу от команды разработки:

Из-за большого обновления langchain, пришлось вносить изменения во все материалы курса. Сейчас обновляем все ноутбуки курса, ноутбуки для решения задач, утилиту utils.py. 💀

🔥Прямо сейчас часть может работать не корректно, но уже около 1/3 обновили. Если столкнётесь с неисправностями, напишите, пожалуйста в чат!

Новый урок по агентам задерживается, так как после обновления функционал агентов не работает с ключом курса, только с ключом ChatGPT - переделываем серверную часть.💻


В общем, работаем над тем чтобы ноутбуки продолжали работать, как надо.

Ближайший апдейт модулей на подходе. На неделе расскажем вам больше подробностей. Stay tuned! 💻
ВГ
13:52
Владимир Горобец
In reply to this message
это?
13:53
In reply to this message
неа. та же ошибка (
L
13:53
LLM Course | Chat
In reply to this message
да
ВГ
13:56
Владимир Горобец
In reply to this message
L
14:01
LLM Course | Chat
In reply to this message
В колабе с ГПУ всё отрабатывает. Может конфликт зависимостей. Попробуйте переустановить библиотеки или запустить из отдельного окружения
L
15:00
LLM Course | Chat
In reply to this message
надо ключ ввести в это окошко с белой обводкой и нажать Enter
15:01
In reply to this message
В этой ячейке не происходит подключения, только запись ключа в переменную среды.
SG
15:01
Sergey GL
Спасибо)))
28 March 2024
A
08:01
Alexey
In reply to this message
Здравствуйте, когда закончите обновлять? Вечером планирую возобновить обучение
L
08:19
LLM Course | Chat
In reply to this message
В целом, уже должно всё работать
08:19
In reply to this message
Может где-то будут варнинги всплывать
КС
15:25
Константин Самсонов
In reply to this message
Привет, сообщество!

Вопрос - а как вы делаете очистку текста прежде чем в llm его запихивать? Понятно, что есть регулярки, но кажется, что человечество должно было придумать что-то более высокоуровневое и удобное) может есть либа какая-то? Чтобы в тексте оставить только текст, без цифр, ссылок, символов, емоджи.

Надоело каждый раз регулярки тюнить)
ЮП
18:19
Юрий Прудников
In reply to this message
Предварительно отправить в ЛЛМку с промптом "оставь только текст, убрав все ссылки")
18:19
In reply to this message
А если серьезно то я бы тоже послушал ответ
f
18:23
février
In reply to this message
Если исследовать вопрос, то для llm любой текст на самом деле подходит, но с другой стороны если обработка текста подразумевает просто убрать лишние знаки и ссылки, то тут самое логичное решение это регулярки, не иначе. Интеллектуальная обработка текста на какие то другие сущности уже задание для llm. Или хотя бы другой языковой модели. Может помочь решение с nltk. tokenize.sent_tokenize, и затем nltk.tokenize.word_tokenize с ним у вас будут просто предложения в виде списка слов, думаю хороший выбор если сильно стараться не охота, выбор для русского языка насколько я знаю доступен
18:24
In reply to this message
Я не сразу до nltk додумался, так как с ним я обычно просто для rnn текст максимально урезаю со стеммингом, а тут задача более общая
ВГ
18:25
Владимир Горобец
In reply to this message
re forever...
18:26
In reply to this message
а spycy не пробовал для очистки вместо nltk?
f
18:26
février
In reply to this message
Там хорошо то, что он например не делает глупостей, которые в регулярке не обойдёшь, например он не будет сокращенные слова воспринимать за конец предложения, типо и т.д.
18:27
In reply to this message
Именованные сущности он распознает
18:27
In reply to this message
Нет, для обработки ЕЯ использую nltk. А какие есть преимущества у spycy?
ВГ
18:28
Владимир Горобец
In reply to this message
мне показалось, но это мое лично имхо. он пошустрее
f
18:28
février
In reply to this message
В nltk есть много токенайзеров хороших
18:29
In reply to this message
Хотя для русского языка иногда приходится другие библиотеки использовать
КС
19:15
Константин Самсонов
In reply to this message
Спасибо за комменты. Идея была в том, чтобы сэкономить токены и не пихать в llm то, что не несет смысла. И получается, что да, либо тюнить регулярки, либо юзать llm)
30 March 2024
as
10:46
aleksandr serobabov
In reply to this message
Все добрый день. В чем ошибка, модель выводит одну и туже информацию для каждой строки (English, Harry Potter)? Пhttps://colab.research.google.com/drive/1PWHgVy6FGORBv27UDdlpiNcAtfW3Zm_J?usp=sharing
as
11:01
aleksandr serobabov
In reply to this message
Понял. Забыл экранирование переменной сделать
31 March 2024
A
15:59
Alexey
In reply to this message
привет, в задании "Ваш собственный ChatGPT: запуск LLM локально" добавьте установку библиотеки PyTorch командой pip install torch
k
16:23
khmelkoff
In reply to this message
если под Win, то это будет без cuda. так то оно примерно вот так ставится:
pip3 install torch torchvision torchaudio --index-url
                                                        https://download.pytorch.org/whl/cu118

118 это версия драйвера =11.8
A
16:40
Alexey
In reply to this message
Игорь, добрый день, да Win10, после вашего указания по установке модель локально отработала, спасибо!
S
19:09
Step
Почему то не могу использовать видео карту на LINUX установил cuda и все дрова и один хер не хочет запускаться через видео . Это я про LWM модель
КК
22:43
Кирилл Кожевников
In reply to this message
У меня одного так отображается стрёмно?
В инкогнито тоже самое

https://github.com/a-milenkin/LLM_practical_course/blob/main/notebooks/M2.2_LangChain_Prompting.ipynb
L
22:49
LLM Course | Chat
In reply to this message
Да, гитхаб не все ноутбуки адекватно рендерит, лучше смотреть локально или в колабе
ВГ
22:53
Владимир Горобец
In reply to this message
у меня нечто подобное было с ноутбуков в датаспел сделанном. я его пересохранил в vscode и он нормально отобразился на гитхабе.
1 April 2024
k
10:03
khmelkoff
In reply to this message
не у одного. если скачать, в jupyter notebook отображается норм.
3 April 2024
КК
16:00
Кирилл Кожевников
In reply to this message
Есть один ЛЛМщик, который заявляет что langchain:

(1) хорошо для построения демок.
(2) в интернете еще долго будет пользоваться популярностью, т.к. в него вливают рекламные бюджеты. Но популярность будет нишевой, и конкуренты со временем одолеют.

Серьезные команды и компании им уже давно не пользуются (во всяком случае там, где качество ответов очень важно)


https://t.me/llm_under_hood/304

Хотелось бы услышать второе мнение от практиков 🎥
E
16:16
Eduard
In reply to this message
А какая есть альтернатива langchain'у?
КК
17:04
Кирилл Кожевников
In reply to this message
Как я понял, проблемы начинаются на масштабировании и приходится свою кастомную архитектуру писать
GT
17:31
Grigorii Tarasov
In reply to this message
LlamaIndex, Haystack?
V
20:29
Vlad
In reply to this message
Всем привет
Кто нибудь langgraph юзал?
4 April 2024
A
18:30
Albina
In reply to this message
привет, только начала курс, за сколько примерно по времени в среднем его можно пройти?
ВГ
18:31
Владимир Горобец
In reply to this message
все зависит только от тебя. сколько времени будешь ему уделять.
R
18:32
Roman ✨️
In reply to this message
Не рвньше, чем его доделают )
A
18:33
Albina
In reply to this message
поняла, спасибо))
A
19:14
Albina
In reply to this message
здравствуйте, где найти ссылку на бот, в котором можно получить API-ключ?
A
19:15
Albina
In reply to this message
спасибо
A
22:40
Albina
In reply to this message
можете пожалуйста сказать в чем моя ошибка?
22:40
In reply to this message
задание 2.1.8
22:51
In reply to this message
как можно убедиться, что один пример работает?
ЮП
22:55
Юрий Прудников
In reply to this message
В {} передается название переменной, а потом текст должен идти как аргумент
22:56
In reply to this message
То есть у тебя должно быть Context: {text_input}
И prompt_template.format(text_input='Твой текст')
A
23:06
Albina
In reply to this message
вот тут написано, что нужно убедиться, что 1 пример работает. как это можно сделать?
L
23:17
LLM Course | Chat
In reply to this message
Проверьте, что в списке amount_list появился ответ на запрос, и он соответствует вашим ожиданиям (ответу требуему в задании)
A
23:22
Albina
In reply to this message
нет, там ничего не появилось
23:22
In reply to this message
L
23:23
LLM Course | Chat
In reply to this message
а как вы проверяете?
A
23:24
Albina
In reply to this message
запускаю код
L
23:27
LLM Course | Chat
In reply to this message
после того как ячейка с кодом отработала, в списке должен появиться 1 элемент (ответ), если всё правильно отрабатывает. Проверить это можно запустив в следующей ячейке код amount_list и посмотреть на вывод
d
23:28
daniil
In reply to this message
действительно. до обновления сразу все выводилось, а сейчас чего-то не хватает
A
23:30
Albina
In reply to this message
выдает ошибку
L
23:35
LLM Course | Chat
In reply to this message
Хотя бы выяснили что в amount_list есть 1 элемент)
В ошибке пишут, что у вас в списке 1 элемент, а он должен быть из 100 элементов как в датафрейме.

Нужно создать новую ячейку и в ней запустить: amount_list. Тогда увидите содержимое списка и сможете оценить. Если всё ок, то можно будет убрать break и получить полный список ответов на 100 запросов.
d
23:41
daniil
In reply to this message
text_output = amount_list[0].content
print(text_output)
1

вдруг кому пригодится для проверки первого элемента
A
23:42
Albina
In reply to this message
спасибо, получилось!
L
23:44
LLM Course | Chat
In reply to this message
Ещё бы посоветовал параллельно освежить или доразобраться с Питоном, дальше будет сложнее.
A
23:45
Albina
In reply to this message
поняла)
6 April 2024
КС
08:55
Константин Самсонов
In reply to this message
Сообщество, а кто-нибудь получал бесплатные 5$ от anthropic для тестирования их моделей? Пытаюсь активировать через свой не РФ телефонный номер и не получается. Кажется, что перебрал уже все варианты: vpn, язык системы/браузера, старые/новые акки без русского следа 😂️️️️️️. Ничего не получается, не прилетает смс. Сам телефонный номер рабочий (банки и прочие шлют в него смс как не в себя).
k
10:49
khmelkoff
In reply to this message
у вас там чистый linux или под WSL? под win10 с WSL работать не будет. Если чистый, попробуйте торч с поддержкой cuda установить.
k
16:35
khmelkoff
In reply to this message
Что такое "дорисосывать" в 5.1 ?
Это вы случайно нам открыли в таком виде? или замануха )
L
18:11
LLM Course | Chat
In reply to this message
Случайно ))
8 April 2024
N
14:18
Niyaz
In reply to this message
Привет!
А что закрыли доступ к 5 модулю
L
14:18
LLM Course | Chat
In reply to this message
Пока не готово)
АК
22:41
Андрей Коржун
In reply to this message
PermissionDeniedError: Error code: 403 - {'error':
                                                        {'message': 'Country, region, or territory not
                                                        supported', 'type':
                                                        'request_forbidden', 'param': None,
                                                        'code':
                                                        'unsupported_country_region_territory'}}

Пытаюсь зайти из РФ. Это можно как-то обойти?
f
22:42
février
In reply to this message
прокси
АК
22:43
Андрей Коржун
In reply to this message
Как использовать прокси из под юпитера?
f
22:43
février
In reply to this message
зайдите с коллаба
L
22:44
LLM Course | Chat
In reply to this message
либо ключ курса, либо из колаба
либо весь трафик компьютера через впн\прокси пускать
f
22:48
février
In reply to this message
http_client = httpx.Client(proxies='http://login:password@ip:port')
22:48
In reply to this message
добавьте это к аттрибутам когда создаете OpenAI
22:48
In reply to this message
httpx импортируйте
9 April 2024
A
13:31
Alexey
In reply to this message
Привет, где можно почитать, как лицензируются LLM для использования на предприятии для внутренних нужд? Например , я скачаю чью то модель с Hugging Face и буду использовать внутри , это как лицензируется?
L
13:36
LLM Course | Chat
In reply to this message
там по идее к каждой модели написано по какой лицензии ропаспространяется
12 April 2024
A
13:44
Alexey
In reply to this message
здравствуйте, при выполнении курса "M2.1_Prompt_Engineering_intro.ipynb" появилась ошибка "SyntaxError: Non-UTF-8 code starting with '\xe4' in file F:\Python\Python312\Stepik\PromptEngineering.py on line 8, but no encoding declared; see https://peps.python.org/pep-0263/ for details " , вызвана тем что я вставил свой контекст. подскажите, как добавить конвертацию из KOI8 в UTF-8?
L
13:46
LLM Course | Chat
In reply to this message
А это в каком месте? В какой ячейке?
A
L
14:00
LLM Course | Chat
In reply to this message
А почему вы так запускаете код, а не в ноутбуке?
A
14:23
Alexey
In reply to this message
Так результат понятнее, сам пишу и сам код останется у меня, ноутбук это что то синтетическое. Я код запускаю на своем компьютере
L
14:25
LLM Course | Chat
In reply to this message
Так ноутбуки тоже можно запускать/изменять на своем компьютере, только установить jupyter или в vscode
A
16:31
Alexey
In reply to this message
установил, НО чувствую себя чайником, как скачать ноутбук в jupyter
16:31
?
16:58
In reply to this message
ноутбуки можно скачать с гитхаба курса: https://github.com/a-milenkin/LLM_practical_course/tree/main
16:59
In reply to this message
можно командой: git clone https://github.com/a-milenkin/LLM_practical_course.git
17:00
In reply to this message
Или скачать архив с веб страницы
A
17:24
Alexey
In reply to this message
Спасибо!
13 April 2024
AM
09:02
Aleron Milenkin
In reply to this message
?)
14 April 2024
yb
12:30
yuliya bondarenko
In reply to this message
Добрый день! Подскажите, есть возможность получить новый API-ключ, если у старого закончился срок действия?
Н
13:26
Наталья
In reply to this message
Здравствуйте, помогите, пожалуйста понять в чем ошибка. Задание Литературный RAG.
L
13:27
LLM Course | Chat
In reply to this message
сплиттер ожидает строки, а вы подаёте ему список [doc]
Н
13:30
Наталья
In reply to this message
тогда ошибка такая будет
L
13:35
LLM Course | Chat
In reply to this message
а как вы документ загружаете?
Н
13:37
Наталья
In reply to this message
это капитанская дочка с курсов
L
13:38
LLM Course | Chat
In reply to this message
Так Капитанская дочка в формате pdf идёт, надо другой лоадер использовать
Н
13:39
Наталья
In reply to this message
Подскажите, пожалуйста, какой?
L
13:40
LLM Course | Chat
In reply to this message
У вас же 1 файл, зачем использовать Directory loader? Если всё таки хотите использовать его, то надо указать класс лоадер длязагрузки pdf. Смотрите стэп про Directory loader на степике.
NT
13:42
Nikita Tenishev
In reply to this message
Добрый день, да, приду в лс
Н
13:42
Наталья
In reply to this message
Подскажите, как можно загрузить один pdf файл? это не понятно
L
13:44
LLM Course | Chat
In reply to this message
В ноутбуке к уроку есть пример с загрузкой одно файла CSV. Нужно просто поменять лоадер на другой, для загрузки файла пдф. Искать в документации нужный класс - часть обучения.
Н
14:13
Наталья
In reply to this message
Спасибо
A
17:43
Alina
In reply to this message
Добрый день! Подскажите как получить новый ключ? У старого кончились токены на "Грокаем с агентом школьные математические задачки" и теперь не могу продолжить... В боте есть "Получить новый ключ", который просто выдаёт старый ключ.
NT
19:25
Nikita Tenishev
In reply to this message
Добрый день, проверяйте, должно обновиться)
16 April 2024
КС
08:04
Константин Самсонов
In reply to this message
https://t.me/aiday_spb

Привет, сообщество!
Модуль в котором расскажут как делать проекты на своих данных еще не открыли, но желание что-то сделать не дает спокойно спать. Поэтому вот)
Комментарии и подписчики приветствуются :)
L
10:59
LLM Course | Chat
In reply to this message
Так уже обновили на прошлой неделе
S
12:13
Step
In reply to this message
Думал доубучения на своих данных входит в курс
12:13
In reply to this message
Его ни как приобрести нельзя?
R
12:14
RemoveJoinGroupMsgBot by @Bot442
This group uses @RemoveJoinGroupMsgBot to remove joined group messages. Add the bot to your group to keep the conversation clean.
S
12:15
Step
In reply to this message
От 10 до 48 часов думаю
12:16
In reply to this message
Может можно начать кусочек просматривать?😍
12:18
In reply to this message
У кого есть годный ткурс по дообучению ? Пока этот не вышел надо учиться
12:19
In reply to this message
3 месяца ждать , с ума сойти можно. Мне до завтра надо выучить все😊 ну максимум 3 дня😁
L
12:33
LLM Course | Chat
In reply to this message
Входит, но пока не готово. Откроется в мае
AM
13:09
Aleron Milenkin
In reply to this message
Да, кусочек скоро будет
13:09
In reply to this message
Распиши вопросы хотя бы, поделимся материалами
S
13:50
Step
In reply to this message
почему у меня нормально не отображается?
L
13:51
LLM Course | Chat
In reply to this message
Лучше смотреть локально или в колабе - гитхаб не всегда адекватно рендерит ноутбуки
S
13:52
Step
In reply to this message
Хочется знать как делать датасет и как начать дообучать модель . Там также используется LangChain ?
13:53
In reply to this message
По LangChain бы еще курс)) уж очень тяжело дается
17 April 2024
k
13:23
khmelkoff
In reply to this message
попробуйте сначала с каким-нибудь готовым датасетом. наберите в google "peft tutorial". на русском материалы тоже есть.
ZR
15:56
Zalina Rusinova
In reply to this message
Поддерживаю вопросы! Буду благодарна за материалы
КК
17:42
Кирилл Кожевников
In reply to this message
вредный гигачат
КК
18:14
Кирилл Кожевников
In reply to this message
18 April 2024
Н
07:47
Наталья
In reply to this message
Здравствуйте. Поделитесь, пожалуйста, кто-нибудь выполненным заданием литературный RAG. Очень нужно сыну в школу для защиты проекта (выбрали тему "загрузка собственной базы данных в ChatGPT), один раз все получилось, в последующие разы код выдает ошибки...
Н
08:21
Наталья
In reply to this message
По этому примеру мы сделали, сначала код отработал, в следующий раз выдает ошибки.
08:22
In reply to this message
08:24
In reply to this message
Пожалуйста, поделитесь, готовым решением.
Н
09:10
Наталья
In reply to this message
Извините, не сразу увидела, что вы отправили решение.Спасибо.
09:18
In reply to this message
Отправьте, пожалуйста, в личку, я не успела скачать😔
09:24
In reply to this message
Извините, еще раз, нашла, в другом браузере блокнот открылся❤️
E
11:49
Eduard
In reply to this message
Ребят, у меня вопрос. Как лучше реализовать такого чат бота, который смотря от заданного вопроса пользователя: начинает его расспрашивать и "выуживать" у него информацию касаемо продукта, описание которого лежит в векторной базе ИЛИ если пользователь подробно описал его потребности, то мы ему сразу рекомендуем товар дополнительно не расспрашивая.

Сейчас у меня реализована такая цепочка:
chain = (
{"context": find_context, "query": RunnablePassthrough(), "memory": get_memory}
| prompt
| llm
| StrOutputParser()
)


т.е. у нас грубо говоря два сценария: пользователь задает общий вопрос и мы должны "выудить" у него больше информации ИЛИ же пользователь уже пришел с конкретным описанием того чего ему нужно и нам нет необходимости выуживать доп инфу и мы сразу уходим в векторную бд для поиска подходящего товара.
k
12:31
khmelkoff
In reply to this message
Там всё кажется немного сложнее. Второй вариант описан здесь: https://habr.com/ru/companies/cian/articles/805401/
12:33
In reply to this message
А первый вариант похож на классического сценарного чат-бота. Но тоже можно NER на базе LLM использовать.
E
13:24
Eduard
In reply to this message
Спасибо огромное!
k
14:37
khmelkoff
In reply to this message
Посмотрите вот здесь пример. Но это олд скулл на rasa. Наверняка есть решение с LLM. Я бы тоже с интересом почитал про это.
https://rasa.com/docs/rasa/business-logic
Aleron Milenkin created topic «Предложка»
AM
19:10
Aleron Milenkin
In reply to this message
👨‍💻 Тут напишите, чего не хватает в сообществе, чего хотелось бы больше, какие темы сейчас вам интересны, а мы будем мотать на ус и постить про это побольше.
ВЗ
19:11
Василий Зеленин
In reply to this message
Расскажите про DSPy
ZR
19:12
Zalina Rusinova
In reply to this message
llamaindex )
19:12
In reply to this message
фреймворки для оценивания llm
19:12
In reply to this message
типа ragas
S
19:27
Step
In reply to this message
Как подготовить данные и в каком формате?
Сейчас у меня есть хороший сервер для дообучения.
Можно ведь использовать софт типа H2O на основе lora и дообучить модельку с хагифейса ?
Р
20:39
Разумный инвестор
Всем салют! Я начал проходить курс!
S
20:54
Step
Курс бомба) Только жаль langchain не разжевывают
Р
20:58
Разумный инвестор
In reply to this message
Смогу реализовать потом проект на работе? Есть у нас база знаний для сотрудников, хочу на ней дообучить нейросеть, чтобы он сотрудникам на вопросы отвечал. Я сам попытался его доучить, до курса, но как-то кооявенько вышел... Отвечает не особо верно)
PO
21:37
Pavel Orlov
In reply to this message
Сейчас RAG прохожу на курсе - там похожие цели. Только не дообучение, а база знаний
S
21:48
Step
In reply to this message
Это закрытые? Как то можно посмотреть ?
L
23:09
LLM Course | Chat
In reply to this message
По мере готовности будут открываться
19 April 2024
Р
04:37
Разумный инвестор
In reply to this message
А сам курс привязан к времени прохождения?
04:44
Такой вопрос ещё, а я смогу после что-нибудь на фрилансе делать? Ну даже что-то небольшое...
AM
05:30
Aleron Milenkin
In reply to this message
100%
Базовые заказы по базе знаний сможешь осилить
S
08:14
Step
In reply to this message
Когда будет следующий блок открыт? Жду не дождусь
S
09:36
Step
In reply to this message
Сейчас час бы кусочек😊
09:37
In reply to this message
У чела с длинными волосами микро очень плохой , приходится переспрашивать по 10 раз и скорость речи снизить, звук поднять 😅
AM
10:16
Aleron Milenkin
In reply to this message
Мы его уволили уже, все ок ☺️
N
12:53
Niyaz
Можно узнать, будут ли материалы по дейплойменту ллм-ок
условно там rayllm и подобные вещи?
L
12:54
LLM Course | Chat
In reply to this message
будет деплой с помощью streamlit
В
13:20
Вадим
In reply to this message
Добрый день. Подскажите пожалуйста может кто-то сталкивался с такой же проблемой, использую модель openchat/openchat-3.5-0106 после запуска проходит примерно секунд 40 и Pycharm(и остальное ПО) закрывается, пробовал запускать файл через терминал тот же результат, при этом процессор загружен процентов на 30, RAM процентов на 90. Код. Я понимаю что скорей всего не хватает ресурсов компьютера, но почему тогда внезапное закрытие всех приложений, а не просто зависание. Может подскажете альтернативную модель, мне необходимо работать с текстом, по моему ТЗ изменять данный текст. Заранее спасибо, буду рад любой помощи.
k
13:35
khmelkoff
In reply to this message
Они на HF пишут "To use this model, we highly recommend installing the OpenChat package" типа через transformers работает хуже. и 24Гб GPU нужно. У вас какая GPU?
В
13:49
Вадим
In reply to this message
Intel Corporation Xeon E3-1200 v3/4th Gen Core Processor Integrated Graphics Controller Понял у меня нет шансов)
k
13:54
khmelkoff
In reply to this message
попробуйте поставить llama.cpp. Хотя это танцы с бубном особенно под Win. Но если получится, сможете использовать сжатые модели в gguf формате. Ноапример https://huggingface.co/TheBloke/openchat-3.5-1210-GGUF
В
13:55
Вадим
In reply to this message
Попробую, спасибо большое за помощь!!! У меня Linux
Р
14:57
Разумный инвестор
In reply to this message
а это вы уже на каком этапе курса? я только начал, посмотрел на фото - что-то страшно стало)))
k
15:12
khmelkoff
In reply to this message
я дошел до закрытых модулей )
не знаю будет ли там про gguf и llama.cpp. вроде про open source модели тема есть.
SG
15:31
Sergey GL
In reply to this message
Так это было в самом начале. Я начал смотреть другие модели, типо Грок
S
22:17
Step
In reply to this message
Отлично, а то весь курс портил... друг из за него ни стал его покупать . Откройте модуль хоть один, очень нужно.
22:18
In reply to this message
и ошибок много совершает, потом голову ломаешь\
21 April 2024
AA
07:13
Arthur Arzanov
In reply to this message
Хорошая статья по построению локальной RAG-системы и инструментов оценки её работы
https://habr.com/ru/companies/doubletapp/articles/808153/
В
11:29
Вадим
In reply to this message
Вчера весь вечер общался с llama3, первое впечатление(после всего зоопарка) я в восторге!!!
k
11:48
khmelkoff
In reply to this message
Отличная статья! Кто бы такое сделал на ллама-подобных моделях, цены бы не было ) А то OpenAI не очень применим в коммерческих целях и в РФ и в Беларуси.
22 April 2024
k
13:39
khmelkoff
In reply to this message
Попробовал на сайга-мистрале. Всё работает кроме SelfQueryRetriever. Если метадата на русском, возвращает пустой запрос, если на английский перевести - пишет запрос на транслите. Что тоже не очень хорошо. Ещё пара моментов - в TestLoader нужно указать encoding='utf8', а в исходном документе заменить nbsp на пробел по всему тексту.
S
16:29
Step
In reply to this message
Ребят где найти инфу по lanchain ?
ZR
16:29
Zalina Rusinova
In reply to this message
дока )
S
16:29
Step
In reply to this message
оф документацию понять не могу
16:29
In reply to this message
Там них... не понятно
ZR
16:29
Zalina Rusinova
In reply to this message
а курс?)
S
16:30
Step
In reply to this message
В курсе нет инфы по нему . Ты видел там инфу ? Там просто его используют но не объясняют....🤨
16:31
In reply to this message
Приходится искать кучу инфы что бы учить курс.. пока ее ищешь и курс уже не нужен
ZR
16:31
Zalina Rusinova
In reply to this message
а что объяснять? это же не математика ) примеры взять и использовать, нет?
ВГ
16:31
Владимир Горобец
In reply to this message
так в этом и смысл )))
S
16:35
Step
In reply to this message
Может группу в дс создадим по langchain😊
ZR
16:35
Zalina Rusinova
In reply to this message
так вроде бы есть канал для вопросов )
L
16:44
LLM Course | Chat
In reply to this message
Можешь развернуть какой именно инфы не хватает по лэнгчейн?
Вроде с самых азов идём от простого к сложному.
AA
22:21
Arthur Arzanov
In reply to this message
Куда в данном случае сохраняется модель, если запускать эту ячейку в Jupyter Notebook?
23 April 2024
Р
05:59
Разумный инвестор
In reply to this message
Доброго времени суток! Вопрос, а можно будет потом автоматизировать при помощи ИИ процессы на работе? Например, заведение заявок на порталы банков или страховых компаний? Которые делает человек. Получится сделать такую смесь парсера и ИИ ?
AM
07:33
Aleron Milenkin
In reply to this message
Можешь это как пет-проект сделать, пока проходишь курс
Р
07:35
Разумный инвестор
In reply to this message
Вот это было бы супер. У меня на самом деле есть две идеи на текущую работу.
k
10:02
khmelkoff
In reply to this message
в данном случае (Win) в кеше HuggingFace. Например:
C:\Users\1\.cache\huggingface\hub\models--bigscience--bloom-1b7\snapshots\cc72a88036c2fb937d65efeacc57a0c2ef5d6fe5
<
16:27
<<R>>
In reply to this message
всем привет, правильно понимаю, что курс еще дорабатывается и никакой ошибки с доступом у меня нет?
L
16:32
LLM Course | Chat
In reply to this message
Да, ещё не до конца открыт
Р
17:04
Разумный инвестор
In reply to this message
Курс выходит совсем свежак?
ВГ
17:05
Владимир Горобец
In reply to this message
еще варится )))
AA
17:40
Arthur Arzanov
In reply to this message
Спасибо
В
20:27
Вадим
In reply to this message
Сегодня в llama3 в качестве контекста отправил часть документации от оборудования, задал вопрос, температуру установил 0.0, ответ получился очень профессиональный! Доволен как слон) 🦙🦙🦙
AE
20:41
Aleksandr Erygin
In reply to this message
Хотелось бы больше подробностей )
24 April 2024
В
04:16
Вадим
In reply to this message
Могу ссылку на свой репозиторий скинуть... Но там пока что всё прям очень на скорую руку написано)
PO
05:06
Pavel Orlov
In reply to this message
было бы круто! Это всё через langchain?
В
06:19
Вадим
In reply to this message
В файле report.json должен быть пустой список, в файле ollama.py nature = это сущность модели, context = контекст, query = вопрос/задание, заполните на своё усмотрение. Запускаем через файл report.py и ждем в файле report.json будут сохранятся ответы с разной температурой. Всё так заморочено потому что делал для своей стажировки нужно было показать возможности. БУДУ ОЧЕНЬ рад любым предложениям по улучшению, да и вообще любой информации!!! Сильно не судите писал всё очень быстро) https://github.com/VadimRoziznan/ollama/blob/main/README.md
Р
11:09
Разумный инвестор
А сам же ChatGPT не может выполнять парсинг сайтов? Т.е задать базу знаний, он должен заходить на определенные сайты и заполнять там нужные формы.
25 April 2024
ZR
07:52
Zalina Rusinova
Привет! Напомните, пожалуйста, мы только под vpn можем использовать chatgpt для курса?
07:53
PermissionDeniedError: Error code: 403 - {'error': {'code': 'unsupported_country_region_territory', 'message': 'Country, region, or territory not supported', 'param': None, 'type': 'request_forbidden'}}
k
10:50
khmelkoff
In reply to this message
без vpn на google colab можно например
ZR
10:54
Zalina Rusinova
In reply to this message
Спасибо! А то давно не пользовалась, а сейчас понадобилась моделька
k
10:57
khmelkoff
Не за что. ещё на kaggle машину дают. но там теперь тоже проблемы с регистрацией для новых пользователей из РФ. Всё равно у некоторых получается.
S
11:57
Step
In reply to this message
Подскажите пожалуйста. Я ведь могу использовать другую llm с помощью langchain? Ну типа от гугла или скачанную и установленную на свой сервер?
А
11:57
Артур
In reply to this message
Конечно
Р
12:26
Разумный инвестор
А VPN полноценно программу на ПК нужно будет или хватит расширения в браузере?
L
12:27
LLM Course | Chat
Надо весь трафик с компьютера через ВПН пересылать.
ZR
12:36
Zalina Rusinova
AuthenticationError: Error code: 401 - {'error': {'message': 'Your authentication token is not from a valid issuer.', 'type': 'invalid_request_error', 'param': None, 'code': 'invalid_issuer'}}
Подскажите еще, что-то с токеном?
12:38
там что-то про utils было..
12:39
все, вопрос закрыт )
Р
12:40
Разумный инвестор
Кто какие VPN порекомендует?
k
13:09
khmelkoff
In reply to this message
в некоторых компонентах langchain в код жестко забит промпт, формат которого может не соответствовать формату промпта llm. например SelfQueryRetriever некорректно работает с llm, тюнингованными на датасетах saiga. ну это если уж совсем придираться ))
ZR
13:11
Zalina Rusinova
In reply to this message
Можете еще подсказать: решаю задачу с sql и pandas агентами, и у меня все время возникают проблемы с парсингом выхода. Такого рода ошибки: ValueError: An output parsing error occurred. In order to pass this error back to the agent and have it try again, pass handle_parsing_errors=True to the AgentExecutor. This is the error: Could not parse LLM output: ` I need to define the Observation variable before returning it
Observation`
13:12
In reply to this message
как такие проблемы решать? на всяких stackoverflow вариантов немного, все опробованы и не дали результата
k
13:19
khmelkoff
In reply to this message
У меня была такая ошибка, когда пробовал агенты на llama 2. Так и не получилось. На GitHub обсуждение видели? Проблема часто встречается. Вот например https://github.com/langchain-ai/langchain/issues/14947
13:20
In reply to this message
Но вроде бы на mistral instruct работает, правда опять же не всё.
MD
13:47
Mike Dahl
In reply to this message
Добрый день. Подскажите, если у меня почти закончились токены, то можно ли получить новый ключ? Через бот не получается - возвращает старый ключ
AC
16:47
Andrey Chernov
In reply to this message
Всем привет! Загрузил себе на mac ollama, и через нее несколько моделей: llama2, mistral, open-orca-platypus2. Решил потестить свою машину и оценить, потянет ли, поэтому выбрал относительно небольшие модели с небольшим количеством параметров. Вроде, в обычном чатовом режиме все нормально работает через терминал в офлайне. Api пока не пробовал, но и до этого скоро планирую добраться.
Однако меня смущает, что я не могу найти эти модели в памяти компа. Вроде, 3.8, 4.1 и 7.4 GB соответственно не иголка в стоге сена, но даже следов этого не могу найти. Может, кто-то из маководов сталкивался с подобным и может что-то подсказать?
k
16:53
khmelkoff
In reply to this message
здесь смотрели: ~/.cache/huggingface/transformers/ ?
17:07
In reply to this message
прошу прощения, это же оллама.
AC
17:46
Andrey Chernov
In reply to this message
ОООО, круто! спасибо огромное! Оказалось, что папка скрыта и поэтому через поиск ее не найти.
В
21:20
Владислав
In reply to this message
Добрый день! А бот жив? Стартанул его, а он не отвечает(
NT
21:22
Nikita Tenishev
In reply to this message
Ожил! Попробуйте снова)
В
21:24
Владислав
In reply to this message
О, да, отлично!
ЮП
21:40
Юрий Прудников
In reply to this message
Привет!
А может кто нибудь подсказать сервис, который хорошо умеет редачить фото в стиле "убери у человека на фото 10 кг"?
21:42
In reply to this message
Я взял VPS в нидерландах за ~300 рублей в месяц, поставил туда Outline и кайфую. Кроме него еще Bebra есть, тоже норм (ставил ее чисто ради Аргентинского ВПН, чтобы Gemini 1.5 PRO погонять)
26 April 2024
Р
04:40
Разумный инвестор
In reply to this message
Это какой-то сервис есть специальный для аренды в Голландии?
ВГ
07:30
Владимир Горобец
In reply to this message
ага. фотошоп называется. )
MD
08:12
Mike Dahl
In reply to this message
Подскажите, а что по поводу моего вопроса? Конкретики не нашел в материалах, но выше вроде давали новый ключ. Просто хочется понимать как быть дальше: рассчитывать на новый ключ или переходить на аналоги с huggingface
А
08:13
Артур
In reply to this message
Groq можешь использовать пока не ответили
08:13
In reply to this message
API с llama3
MD
08:14
Mike Dahl
In reply to this message
Спасибо, попробую
NT
08:20
Nikita Tenishev
In reply to this message
Можно через нас докупить токены по себестоимости, 500руб за 1млн токенов
Р
08:50
Разумный инвестор
In reply to this message
Подскажите, а будет в ходе курса обучение ии для работы с изображением или аудио файлами?
ZR
11:49
Zalina Rusinova
In reply to this message
Это очень круто!
28 April 2024
N
18:02
Nikolaus.
Подскажите. Купил курс "Применение LLM.." , но пока, что он для меня трудноват. Что можно перед ним посмотреть видео, другой курс что б подготовиться?  Токен пока не брал, он не пропадёт ?
L
18:13
LLM Course | Chat
In reply to this message
Не пропадёт. А в чем трудности. Если с Питоном, можно на степике бесплатный "Поколение Python" пройти.
N
18:16
Nikolaus.
Знаком немного с python, давно не пользовался. Пока, что конкретно сформулировать вопрос не могу. Поразбираюсь ещё. Правильно ведь понял, вопросы можно сюда задавать?
L
18:17
LLM Course | Chat
Да
30 April 2024
AC
10:30
Andrey Chernov
In reply to this message
приветствую! я правильно понимаю, что задание, где нужно убирать лишние знаки делается через re?
Я с re не очень сильно дружу, поэтому хочу уточнить, насколько вообще целесообразно конкретно для целей экономии токенов изучать re?
Как эти знаки вообще считаются LLM-моделью?
L
10:53
LLM Course | Chat
In reply to this message
Регулярки при работе с НЛП очень полезно знать. Примерно 3 символа - 1 токен.
AC
11:00
Andrey Chernov
In reply to this message
спасибо!
k
14:57
khmelkoff
In reply to this message
Исправьте пожалуйста в Шаг 5 "В чем приемущества метода Tree..." прие на преи ;)
АК
21:14
Андрей Коржун
In reply to this message
А как всё-таки заставить работать ключ от openai?
Пишет что-то про лимиты, а я его не разу не использовал...
Получил только. Что-нибудь нужно ещё настроить на сайте openai?
L
21:15
LLM Course | Chat
In reply to this message
Проверить баланс.
21:16
In reply to this message
Теперь не всегда пробные 5$ дают.
21:16
In reply to this message
Надо баланс пополнить. Ну и все радости пополнения, если из РФ.
1 May 2024
S
16:12
Step
In reply to this message
Купил подписку гпт 4 , а ключ API нерабочий, его отдельно надо еще оплачивать?
L
16:13
LLM Course | Chat
In reply to this message
Да
2 May 2024
E
11:06
Eduard
Всем привет.

Вопрос по агентам.
Я используя create_csv_agent из langchain_experimental.agents.agent_toolkits.csv.base.

Всё корректно обрабатывается, но в итоговой цепочке "Finished chain" я вижу как бы суммаризированый вывод "Entering new AgentExecutor chain...". Меня не устраивает это т.к. вся релевантная информация (не сжатая) находиться как раз в "Finished chain".

Я не совсем понимаю, как мне изменить повдение моего агента, чтобы он возвращал в Finished chain не суммаризированную информацию из "Entering new AgentExecutor chain..."?
11:08
Вот то что я вижу
ZR
11:10
Zalina Rusinova
как вариант, изменить промпт.
11:11
кажется, что с таким промптом вообще не добиться желаемого результата
S
16:57
Step
Пополнил баланс на open ai создал ключ , но ничего не работает постоянно 429 ошибка, чатом вообще не пользовался

RateLimitError Traceback (most recent call last)
<ipython-input-37-445f50fc8994> in <cell line: 3>()
3 for text_input in tqdm(df['text']):
4 prompt = prompt_template.format(text_input=text_input) # Добавляем сообщение в промпт
----> 5 amount = llm.invoke(prompt).content # Ответ модели
6 amount_list.append(amount) # Добавляем ответ в список
7 break # Для отладки. Уберите, когда убедитесь, что на одном примере работает

14 frames
/usr/local/lib/python3.10/dist-packages/openai/_base_client.py in _request(self, cast_to, options, remaining_retries, stream, stream_cls)
1018
1019 log.debug("Re-raising status error")
-> 1020 raise self._make_status_error_from_response(err.response) from None
1021
1022 return self._process_response(

RateLimitError: Error code: 429 - {'error': {'message': 'You exceeded your current quota, please check your plan and billing details. For more information on this error, read the docs: https://platform.openai.com/docs/guides/error-codes/api-errors.', 'type': 'insufficient_quota', 'param': None, 'code': 'insufficient_quota'}}
AM
18:06
Aleron Milenkin
In reply to this message
А ты из РФ запускаешь?)
S
18:07
Step
Нет
AM
19:04
Aleron Milenkin
In reply to this message
А есть скрин из личного кабинета?
S
19:22
Step
Вроде заработало. Аккаунт на 3 персоны , создал рабочую область и при создании API выбрал эту область и заработало
3 May 2024
АК
11:29
Андрей Коржун
In reply to this message
Были 5$, но ругался пока я не закинул ещё 10
Р
13:36
Разумный инвестор
In reply to this message
?
S
14:43
Step
In reply to this message
Ребят, а бот работает многопоточно? Грубо говоря 10 человек общаются через бота и едет сохранение диалога для каждого пользователя и вопрос в том что не будет у них инфа пересекаться ? Тоесть бот создает диалог для каждого пользователя?
Р
14:43
Разумный инвестор
In reply to this message
Друзья, подскажите сервис для оплаты open ai. Да и в целом. Пользовался делимс, но условия не очень выгодные у них. Может ещё есть проверенные, чтобы карту виртуальную завести
L
14:45
LLM Course | Chat
In reply to this message
Это как бэкэнд настроишь. Не должна пересекаться
S
15:45
Step
In reply to this message
Ну если оставить как по курсу?
15:45
In reply to this message
Примерно
S
16:00
Step
In reply to this message
Примерно когда?😊
AM
16:02
Aleron Milenkin
In reply to this message
так уже и завтра еще будет
S
16:07
Step
In reply to this message
О-о-о-о-о вижу. А когда 5 модуль хотя бы кусочек ?
AM
20:25
Aleron Milenkin
In reply to this message
4 May 2024
NT
14:56
Nikita Tenishev
In reply to this message
Перезапустил, теперь работает, спасибо)
КС
15:42
Константин Самсонов
In reply to this message
А кто-нибудь юзал YandexGpt через Langchain? Как вы подключились?) Что-то у меня не выходит. Вроде все по мануалу, но выдает ошибку (см.скрин).

Если подключаться без Langchain, то все ок, все работает.
L
15:48
LLM Course | Chat
In reply to this message
А прямо в YandexGPT( ), нельзя явки-пароли передать? По логам вроде подключается, но инвалид токен
ZR
15:48
Zalina Rusinova
In reply to this message
Только гигачат. У гигачата своя библиотека gigachain - форк langchain. Возможно здесь также
15:51
In reply to this message
Походу, да
КС
15:52
Константин Самсонов
In reply to this message
Так тоже попробовал и результат аналогичный.

llm = YandexGPT(api_key=YANDEX_API_KEY, folder_id=YANDEX_FOLDER_ID, iam_token=YANDEX_IAM_TOKEN)
15:53
In reply to this message
эту либу видел, но что-то смутило малое количество звезд. Как-то не хочется отдавать все явки/пароли в неизвестную либу вот так сразу )))
ZR
15:54
Zalina Rusinova
In reply to this message
Это вроде их официальная либа
15:54
In reply to this message
Но могу ошибаться
15:54
In reply to this message
Там вроде одну из пар надо указывать, не все сразу
15:54
In reply to this message
L
15:55
LLM Course | Chat
In reply to this message
ну, тут надо api_key=os.getenv('YANDEX_API_KEY')
15:56
In reply to this message
Я думаю, вы это учли)
КС
15:57
Константин Самсонов
In reply to this message
Спасибо! Вот это я упустил. Да, в такой связке сработало: llm = YandexGPT(api_key=YANDEX_API_KEY, folder_id=YANDEX_FOLDER_ID)

Пойду еще раз доку почитаю.
15:58
In reply to this message
Придумали, блин, key-такой, key-сякой, id-key-третий. Пойди разберись во всей этой девопсовской магии )
L
15:59
LLM Course | Chat
In reply to this message
А она только у них на клауде работает же?
КС
16:00
Константин Самсонов
In reply to this message
Похоже что да. Пока альтернативные варианты запуска не изучал
S
19:13
Step
In reply to this message
Блин ни как не могу решить проблему. Вот код:
memory = ConversationSummaryMemory(
llm=llm,
max_tokens=3000 # Ограничение на количество токенов
)
conversation_sum_mem = ConversationChain(
llm=llm,
memory=memory
)
#################################################################################################Сохранение памяти
chain = (
{"context": retriever | format_docs, "question": RunnablePassthrough()}
| conversation_sum_mem
| prompt
| llm
| StrOutputParser()

)
response = chain.invoke(user_message)

пытаюсь сделать память в ТГ , при отправке сообщения боту выходит:
line 95, in handle_message
response = chain.invoke(user_message)
raise ValueError(f"Missing some input keys: {missing_keys}")
S
21:56
Step
In reply to this message
Подскажите как запустить ConversationSummaryMemory используя LCEL
21:56
In reply to this message
Весь мозг себе ****
5 May 2024
ЮП
00:46
Юрий Прудников
In reply to this message
Только сейчас добрался
Бот не работает(
AM
09:30
Aleron Milenkin
In reply to this message
Поправил)
6 May 2024
S
09:46
Step
In reply to this message
Как реализовать память и использовать цепочку из видео с RAG ?
k
09:58
khmelkoff
In reply to this message
там всё сильно сложнее, нужно два промпта и два раза дергать LLM. ищется по "conversational RAG". ВОТ для примера:
https://github.com/langchain-ai/langchain/blob/master/templates/rag-conversation/rag_conversation/chain.py
8 May 2024
AK
11:46
Alexandr Korenev
Все привет! Подскажите плз, какие есть мощные стриминговые модели VLM типа https://www.jetson-ai-lab.com/tutorial_live-llava.html
на камере нужно детектить ситуации, отличные от заданных стандартных. Например, "прошел человек в костюме динозавра"
SG
19:05
Sergey GL
In reply to this message
Задача 2.2.9 Парсер выдает ошибку - Got invalid return object. Expected key `job_title ` to be present, but got {'job_title': 'Python developer'}. Подскажите где ошибка
PO
19:13
Pavel Orlov
In reply to this message
Пробел после ключа видимо лишний
SG
21:00
Sergey GL
In reply to this message
Паша спасибо, я с этим так долбался
SG
23:23
Sergey GL
In reply to this message
@tenishevnikita для задания 2.2.9 говорили комментариях, что выложили файл по которому можно свериться, где он можете подсказать? Тут не увидел его
NT
23:54
Nikita Tenishev
In reply to this message
9 May 2024
SG
07:29
Sergey GL
In reply to this message
А понял, это после 5 попыток получится посмотреть
А
09:35
Александр
Всем привет, дообучал ли кто-нибудь llm в облаке или просто деплоил модельку в облако для инференса? Если у кого-то был опыт подскажите, пожалуйста, каким облачным сервисом пользовались
AC
11:58
Andrey Chernov
Всем привет! Кто-нибудь знает оупен-сорс LLM модели, у которых русский язык основной?
ZR
11:59
Zalina Rusinova
ну типа Сайга
АМ
11:59
Артём Марченко
In reply to this message
Добрый день. Присоединяюсь к вопросу, мне тоже это интересно.
ZR
12:00
Zalina Rusinova
In reply to this message
но у той же Llama 3 качество на моей задаче несопоставимо лучше
АМ
12:02
Артём Марченко
In reply to this message
А какая задача?
ZR
12:02
Zalina Rusinova
еще вот: https://habr.com/ru/articles/787894/ но честно, я не пробовала
AC
12:29
Andrey Chernov
In reply to this message
Спасибо за информацию!
12:34
In reply to this message
А с какой llama3 сравнивала, кстати? С каким количеством параметров? там же есть вариации от 7 до 70 миллиардов параметров.
ZR
12:39
Zalina Rusinova
с 8b
PO
13:07
Pavel Orlov
Да, llama-3 вообще крутая (запускаю локально 8B). Попробовал для задачи 2.2.9 (разбор вакансий). Получилось добиться 198 очков! (после разных доработок промпта и перевода на английский его)
k
15:58
khmelkoff
In reply to this message
https://huggingface.co/ai-forever/ruGPT-3.5-13B например. но это по-моему претрейн. Она только дополнять текст умеет.
Ещё у Ильи Гусева много тюнингованных. https://huggingface.co/IlyaGusev
AB
22:09
Andrei Belousov
In reply to this message
https://colab.research.google.com/drive/1WnvXwuEw4qHmOekphSk1Ji6avScRBbhe?usp=sharing

Задание 2.1.8 висит на этом шаге
Использую токен курса
впн включен

И в колабе и в локальном ноутбуке такая проблема
PM
22:13
Petr M
In reply to this message
amount_list пустой после выполнения ячейки?
AB
22:14
Andrei Belousov
In reply to this message
amount_list = ['0']
PM
22:16
Petr M
In reply to this message
Мб это ответ на первый вопрос. break обрывает дальнейшее выполнение
AB
22:17
Andrei Belousov
все понял , я невнимательный
10 May 2024
L
01:34
LLM Course | Chat
In reply to this message
С токеном курса ВПН не нужен
ZR
10:34
Zalina Rusinova
Привет!
10:34
Подскажите, а подключал кто-то агента для поиска в гугле?
10:36
С примером на курсе у меня возникли проблемы. Чтобы получить токен доступа к сервису поиска, нужно подтвердить номер телефона, с чем как обычно проблемы
10:37
И еще вопрос. Кто-то пробовал продвинутые техники rag? Условно, когда прямого ответа в загруженных документах нет, и требуется цепочка или ризонинг?
AC
10:41
Andrey Chernov
In reply to this message
Приветствую! Начинал обучаться с ключом курса. Сейчас стараюсь больше погружаться в локальные модели.
Вопрос по библиотеке utils : про ее использование можно забывать, если работаешь не с ключом курса?
У меня запустилось все только при инициатив модели через библиотеку openai и все остальное - через Langchain.
10:43
In reply to this message
Еще не пробовал, но мне кажется, без того, что ты описываешь, вообще бесполезно это было бы.
ZR
10:46
Zalina Rusinova
In reply to this message
? неочень понимаю, что бесполезно. если мне нужен простой поиск по документам, то все работает прекрасно. но вопросы бывают сложнее, чем простой поиск
AC
10:55
Andrey Chernov
Я имею в виду, что для того чтобы делать простой поиск, необязательно изучать LLM. Как раз-таки ризонинг и есть то самое преимущество. С моей точки зрения…
ZR
10:56
Zalina Rusinova
ну несовсем. llm оформляет ответ в таком виде, в котором ожидает получить его пользователь
AC
10:58
Andrey Chernov
In reply to this message
Но ты же можешь использовать промпт/цепочки/агентов/, чтобы объяснить модели, какой ответ ты от нее ожидаешь
ZR
11:01
Zalina Rusinova
я немного про другое. я скорее про более продвинутый поиск. Типа Structured External Knowledge, Generator-Enhanced Retrieval, Iterative Retrieval-Generator RAG и все прочее. Тут просто управлением генерацией задача точно не решается
L
11:12
LLM Course | Chat
In reply to this message
Да, утилс только если используете ключ курса.
PO
11:15
Pavel Orlov
In reply to this message
Там же был пример с дюкдюкгоу. Вроде он работает без подтверждения. Или вы о чем?
L
11:18
LLM Course | Chat
In reply to this message
Гугл поиск только через SerpApi
11:19
Подтверждение в России работает.
ZR
11:57
Zalina Rusinova
In reply to this message
У меня просит номер телефона, и ругается, что номера из нашего региона не годятся
12 May 2024
S
11:44
Step
In reply to this message
Ребят как обьеденить rag и память? а то на курсе не показано. Вообще как изучить langchain ни как не могу разобраться на их сайте как правильно идти по документации. На этом курсе вообще объяснений нет, может ответы найду в документации.
11:50
In reply to this message
Такое чувство что авторы сами не знают как это работает и как это сделать.
N
12:03
Noyan Tendikov
In reply to this message
Авторы langchain сказали что отредачат документацию в скорой версии 0.2 на разные блоки, вместо мешанины и добавят объяснение миграции с версии на версию при изменениях - https://python.langchain.com/v0.2/docs/introduction/
https://blog.langchain.dev/langchain-v02-leap-to-stability/
L
13:19
LLM Course | Chat
In reply to this message
При создании цепочки итоговой просто добавляете к ней память нужного типа. Без разницы раг там или что-то ещё
13 May 2024
К
18:02
Кирилл
In reply to this message
Баг в ноутбуке и степеки при проверки

assert add_numbers(-3, -5) == -8, "Ошибка в функции: add_numbers(-3, -5) должно быть 0"

Исправление
assert add_numbers(-3, -5) == -8, "Ошибка в функции: add_numbers(-3, -5) должно быть -8"
S
18:12
Step
In reply to this message
{"context": retriever | format_docs, "question": RunnablePassthrough()}
File "C:\Users\User\AppData\Local\Programs\Python\Python310\lib\site-packages\langchain_core\runnables\base.py", line 2450, in __or__
coerce_to_runnable(other),
File "C:\Users\User\AppData\Local\Programs\Python\Python310\lib\site-packages\langchain_core\runnables\base.py", line 4977, in coerce_to_runnable
raise TypeError(
TypeError: Expected a Runnable, callable or dict.Instead got an unsupported type: <class 'langchain.memory.buffer.ConversationBufferMemory'>
template = """

.............................................
{context}

Question: {question}

"""
prompt = ChatPromptTemplate.from_template(template)
llm = ChatOpenAI(model="gpt-4-turbo", temperature=0.5)
#################################################################################################Сохранение памяти
memory = ConversationBufferMemory()
#################################################################################################Сохранение памяти
chain = (
{"context": retriever | format_docs, "question": RunnablePassthrough()}
| prompt
| llm
| StrOutputParser()
| memory

)
L
18:57
LLM Course | Chat
In reply to this message
Так не встроить. Можно объявить цепочку не через LCEL. А через метод и там будет параметр memory. Чтобы добавить память в LCEL - в доке есть пример, или можно прям в доке у чатбота( встроенной ЛЛМ) спросить кусок кода.
14 May 2024
АК
13:57
Андрей Коржун
Подскажите, пожалуйста, где посмотреть как прикрутить ChatGPT к телеграмм боту?
Мне нужно чтобы после /start можно было выбрать один из трёх сценариев (у каждой кнопки свой промпт), а потом уже общение с историей с CHATGPT... Как это примерно сделать?
S
19:12
Step
In reply to this message
# Обработчик команд start
async def start(update: Update, context: ContextTypes.DEFAULT_TYPE) -> None:
await update.message.reply_text('Привет! Отправь мне ....')
15 May 2024
AC
10:35
Andrey Chernov
In reply to this message
Всем привет! Если кто-то знаком с векторными хранилищами FAISS или Chroma, может, подскажете, в чем может быть проблема?
db = FAISS.from_documents(split_documents, embedding_list)
vectorstore = Chroma.from_documents(documents=split_documents, embedding=embedding_list)

Ошибка в обоих случаях одинаковая:
AttributeError: 'list' object has no attribute 'embed_documents'

Вроде, ломается здесь -≥ 930 embeddings = embedding.embed_documents(texts)
Видимо, проблема с листом эмбеддингов.
embedding_list выглядит так:
[[-0.02513856627047062,
0.04812956601381302,
-0.18189401924610138,
-0.027957307174801826,
………..
-0.00983899924904108,
0.029680216684937477]]
Размерность 974 на 768.
Есть идеи?
К
10:37
Кирилл
In reply to this message
Тебе надо передавать не список векторов а объект класса векторизатора, который имеет тот самый метод из ошибки
ZR
10:38
Zalina Rusinova
In reply to this message
ну да, передавать модельку
10:40
In reply to this message
FAISS сам прогонит тексты через энкодер
AC
10:50
Andrey Chernov
In reply to this message
Понял, спасибо! Попробую!
AC
17:59
Andrey Chernov
In reply to this message
Да, еще раз спасибо! С API от Openai все очень круто получилось. Осталось попробовать прикрутить и память и RAG одновременно, но это уже не настолько срочно и критично. Да и не настолько сложно тоже.

Теперь все равно хочу то же самое реализовать на локальной LLM. Изначально у меня и возникли сложности, потому что на локалке делал, а там по-другому все работает.
16 May 2024
AC
11:43
Andrey Chernov
In reply to this message
Всем привет! Помогите, если не сложно, плиз.
Задача одна, способов решения два, но в обоих есть проблемы 🤦
Задача - запустить RAG локально.
Решение 1: сохранить векторное хранилище FAISS, созданное при помощи openai на комп и потом загрузить его и уже использовать дальше с локальной моделью.
Проблема - сохранить эмбеддинги.
Индексы FAISS сохраняются без проблем ( создается локальная папка с файлами index.faiss и index.pkl #db.save_local("faiss_index")
Но вот чтобы загрузить необходимы эмебддиги, как можно видеть из кода ниже. Без них выдает Name Error :
#new_db = FAISS.load_local("faiss_index", embeddings, asynchronous=True)
Вопрос: как сохранить эмбеддиги?

Решение 2.
Сделать изначально эмбеддинги локально.
Я свои делал при помощи comic-ai
(def get_embedding(text, model="nomic-ai/nomic-embed-text-v1.5-GGUF"):
text = text.replace("\n", " ")
return client.embeddings.create(input = [text], model=model).data[0].embedding)
Но тогда возникает другая проблема: я не могу создать векторное хранилище данных, по крайней мере при помощи FAISS или Chroma db - они четко заточены под OpenAI.
Может, вы знаете альтернативные рабочие инструменты создания векторных баз данных, работающих напрямую с эмбеддингами?

Сори за слишком объемный текст
D
11:52
Danil
In reply to this message
1) чем не устраивает llamaindex, который может работать как с локальными эмбедингами, так и с openai + сам менеджит векторное хранилище.
2) можно создать хранилище в postgres, где будут храниться эмбединги(индекс) и сами нужные текста. Поиск можно делать встроенными средствами postgres
ZR
11:54
Zalina Rusinova
In reply to this message
А критически важно именно эти эмбеддинги использовать? Посему не взять open-source?
11:55
In reply to this message
Хранилище в postgress не кажется хорошей идей, поскольку в том же faiss поиск организован особым образом, из-за чего он сильно быстрее. Не представляю, сколько будет занимать поиск в бд
11:57
In reply to this message
А язык русский?
AC
11:58
Andrey Chernov
In reply to this message
1) я с ним незнаком, посмотрю.
2) в Postgres я тоже не работаю
Спасибо за идеи !
11:59
In reply to this message
Абсолютно неважно. Nomic - тоже оупен сорс ембеддинги, но с ними не получается сделать векторизированное хранилище.
ZR
12:00
Zalina Rusinova
In reply to this message
Язык какой? Hf эмбеддинги прекрасно работают
D
12:00
Danil
In reply to this message
llamaindex это как раз та штука, с которой можно супер быстро в 3 строки запустить все что надо. В том числе и сохранить все эбдинги в отдельный файл векторного хранилища и переиспользовать. А еще у них супер классная дока, которая работает на llamaindex и легко подскажет как запустить и создать векторное хранилище и как его потом переиспользовать. https://docs.llamaindex.ai/en/stable/
AC
12:01
Andrey Chernov
In reply to this message
Английский язык
L
12:01
LLM Course | Chat
In reply to this message
FAISS и CHROMA любые эмбеддниги могут хранить, не только OpenAI.
AC
12:03
Andrey Chernov
In reply to this message
Я как раз вчера писал вопрос на эту тему. Если и могут, то непонятно, как.
L
12:05
LLM Course | Chat
In reply to this message
По первому решению: если сделать векторстор с помощью эмбедов от опенаи, а потом искать по ней с помощью эмбедов от другой модели, то как она будет искать? Во-первых размерности могут быть разными, во вторых сами эмбеддинги.
AC
12:07
Andrey Chernov
In reply to this message
На первый взгляд кажется очень круто! Спасибо
ZR
12:07
In reply to this message
можно ведь что-то выбрать
L
12:08
LLM Course | Chat
In reply to this message
Так точно так же. Просто эмбеддинг модель меняете и всё.
AC
12:11
Andrey Chernov
In reply to this message
Ну мне же надо только достать ретиривером данные их хранилища, а потом уже по цепочке текст закинуть в промпт.
Или ретривер тоже работает при помощи openai и расходует токены?
ZR
12:12
Zalina Rusinova
In reply to this message
а доставать-то как? надо же построить эмбеддинг запроса и по косинусной близости найти подходящие чанки
AC
12:14
Andrey Chernov
In reply to this message
Выбрать можно, вопрос в том, как это запустить так, чтобы в итоге создать работающее векторное хранилище при помощи этих эмбеддингов.
L
12:16
LLM Course | Chat
In reply to this message
Ваш запрос преобразуется в эмбеддинг той же моделью, которой сделано хранилище. Потом этот эмбеддинг запроса попадает в ретривер и по косинусной близости ищутся похожие документы в хранилище.
AC
12:18
Andrey Chernov
In reply to this message
В любом случае, даже если теперь эти эмбеддинги и векторное хранилище будут работать с только с openAi, есть же смысл в том, чтобы его сохранить, чтобы потом каждый раз заново не тратить токены на пересоздание векторной бд?
Поэтому вопрос остается - как сохранить эмбеддиги?
12:19
In reply to this message
А по второму варианту я понял, буду переделывать все локально.
ZR
12:19
Zalina Rusinova
In reply to this message
Так на курсе целый ноутбук по этому поводу есть
12:23
In reply to this message
А может быть кто-то подскажет из авторов курса какие-то материалы по такой проблеме. Хочется, чтобы с помощью rag модель научилась отвечать на более сложные вопросы. То есть, не просто найти ответ в документах, а внутри себя построить цепочку рассуждений и ходить по разным документам. Наверняка, с этой задачей все сталкиваются рано или поздно. Как это можно сделать?
AC
12:25
Andrey Chernov
In reply to this message
Я не нашел там, как сделать RAG или даже векторизированное хранилище при помощи оупенсорс решений.

А по сохранению было только это:
db.save_local("faiss_db") # можно сохранить базу локально, указав путь
Но оно сохраняет только индексы, а не эмбеддинги. И соответственно, каждый раз делать эмбеддинги заново кажется не самой интересной идеей.
L
12:27
LLM Course | Chat
In reply to this message
В новом уроке по агентам есть пример агента с РАГ. Или Self-ask with search агента можно попробовать, дать ему в качестве инструмента поиска - ретривер по векторстору.
k
12:34
khmelkoff
In reply to this message
Норм локально работает на open source моделях. Эмбединг модель загружается один раз и потом хранится в кеше HF:
embedding = HuggingFaceEmbeddings(
model_name="cointegrated/LaBSE-en-ru", model_kwargs={"device": "cuda"}
)

# DB for our vectors
vectorstore = Chroma.from_documents(documents=splits, embedding=embedding)
ZR
12:41
Zalina Rusinova
In reply to this message
Спасибо большое! Я еще не посмотрела новые уроки
AC
12:48
Andrey Chernov
In reply to this message
Я вчера как раз задавал вопрос на эту тему.
vectorstore = Chroma.from_documents(documents=split_documents, embedding=embedding_list)
у меня выдает ошибку:
AttributeError: 'list' object has no attribute 'embed_documents'
k
12:55
khmelkoff
In reply to this message
потому что embedding это не list а объект HFEmbeddings. Код рабочий. база на русском, 72 чанка.
L
12:57
LLM Course | Chat
In reply to this message
В параметр embedding передается эмбеддинг модель, а не список с эмбеддингами. Вам же ответили вчера.
12:58
In reply to this message
А эмбеддинг модель может быть любая, хоть ОпенАИ, хоть опенсорсная
17 May 2024
ZR
09:20
Zalina Rusinova
In reply to this message
Привет! Подскажите, а чем проблема с GoogleSearchAPIWrapper? Почему вместо него предлагается serpapi?
L
11:46
LLM Course | Chat
In reply to this message
Там сложнее схема получения ключа через гуглклауд и он платный.
ZR
12:33
Zalina Rusinova
In reply to this message
понятно ( просто serpapi тоже как бы платный, самая скромная подписка больше 6000 рублей. 100 запросов улетят сразу
L
12:42
LLM Course | Chat
In reply to this message
Это да. Доступно много других поисковиков бесплатных
КК
16:39
Кирилл Кожевников
In reply to this message
Всем привет!
Помоги пожалуйста понять, в чём ошибка по задачке 3.3.7 "🧑‍🎓 Грокаем с агентом школьные математические задачки"

Код:
*тут импорты и тулзы*

# Поместите все написанные функции в tools
tools = [compute_arc_length, compute_triangle_area, add_numbers, convert_meters_to_cm, convert_cubic_cm_to_liters,
compute_rectangle_perimeter, compute_circle_area, compute_cylinder_volume, compute_cube_volume,
convert_binary_to_decimal, convert_decimal_to_binary, get_count_ones]

# Определим схемы ответа
math_answer_schema = ResponseSchema(name="math_answer",
description="""Ответ должен быть представлен в виде целого числа, если итоговый
результат является точным целым числом, или в виде вещественного числа
с точностью до двух знаков после запятой, если результат содержит дробную
часть. Не допускаеться в ответе содержания слов""")


response_schemas = [math_answer_schema]
output_parser = StructuredOutputParser.from_response_schemas(response_schemas) # Создаём парсер и подаём в него список со схемами
format_instructions = output_parser.get_format_instructions() # Получаем инструкции по форматированию ответа

text = "Найди сумму 3 и 5"

template = """Тебе нужно дать короткий ответ на этот задание ```{text}```,
используя эти инструменты.

math_answer:
Ответ на математический вопрос это число - целое или вещественное, с учетом указанных выше условий.

Окончательный ответ должен быть в таком виде:
{format_instructions}
"""
prompt = ChatPromptTemplate.from_template(template=template)

messages = prompt.format_messages(text=text,
format_instructions=format_instructions)

agent = initialize_agent(
agent=AgentType.STRUCTURED_CHAT_ZERO_SHOT_REACT_DESCRIPTION,
tools=tools,
template=template,
llm=giga,
output_parser=output_parser,
handle_parsing_errors=True
)

response = agent(messages)

print(response["output"])


Вывод на скрине
Не понимаю что не так (температура = 0.1)
V
16:51
V.Ozhereliev
In reply to this message
Можно ли как-то заюзать мистраль без hf апи?
R
17:01
Roman ✨️
In reply to this message
так на hf api больше 10гб модельку бесплатно не заинференсить
V
17:02
V.Ozhereliev
In reply to this message
Мне надо хорошую ллмку без апи. Вот только загружать на ком, походу, придётся
R
17:05
Roman ✨️
In reply to this message
нк без api - groq.com например. Правда vpn нужен.
V
17:06
V.Ozhereliev
In reply to this message
Это что такое?
R
17:07
Roman ✨️
In reply to this message
Там эти модельки разврнуты. можно плчитать
17:09
In reply to this message
через api awanllm.com бесплаиный есть. Правда там огрнаичено кол-во обращений
V
17:10
V.Ozhereliev
In reply to this message
Сколько ограничение?
R
17:11
Roman ✨️
In reply to this message
на сайте указано )
18 May 2024
АМ
10:28
Артём Марченко
Добрый день. Бот не хочет выдавать ключ от ChatGPT. Запрашиваю в первый раз.
NT
12:38
Nikita Tenishev
In reply to this message
Добрый день, попробуйте снова пожалуйста
АМ
12:41
Артём Марченко
In reply to this message
Да, теперь всё получилось. Спасибо!
19 May 2024
OD
09:24
Oleg D
Здравствуйте! Мне бот не дает ключ.
NT
09:55
Nikita Tenishev
In reply to this message
Попробуйте снова пожалуйста)
OD
09:57
Oleg D
In reply to this message
Получилось, спасибо!
20 May 2024
А
04:14
Алексей
Здравствуйте, подскажите по моделям от huggingface в общем если я ставлю другое repo_id вместо мистрали, то выдает ошибку , что нужно указать parameters.max_new_tokens = 250 . Где указывать этот параметр? И второе как отпрарвлять больше чем 250 токенов. Нужно отплатить тариф на huggingface?
04:15
Bad request:
Error in parameters.max_new_tokens: ensure this value is less than or equal to 250
04:18
И еще я пробовал некоторые модели от hugginface. Ошибка была что они слишком большие, больше чем 10GB и их нужно развернуть в Space. Собственно как их развернуть в space?
ВГ
07:19
Владимир Горобец
Доброго утра!
в чем может быть причина?
L
11:36
LLM Course | Chat
In reply to this message
Гитхаб со вчера перестал рендерить ноутбуки во всех реаозиториях, надеемся скоро поправят
11:37
Пока пользуйтесь колаб версией или локально скачивайте
R
12:54
Roman ✨️
In reply to this message
А кто нить знает недорогой/ лучше бесплатный хостинг для telegram бота?
ВГ
13:11
Владимир Горобец
ясно.
R
13:12
RemoveJoinGroupMsgBot by @Bot442
This group uses @RemoveJoinGroupMsgBot to remove joined group messages. Add the bot to your group to keep the conversation clean.
AM
23:34
Aleron Milenkin
In reply to this message
Pythonanywhere
21 May 2024
AI
07:22
Aleksey Istomin
Здравствуйте! Бот не дает ключ, проверьте пожалуйста.
NT
07:32
Nikita Tenishev
In reply to this message
Доброе утро! Спасибо, попробуйте снова пожалуйста
AI
07:44
Aleksey Istomin
Работает, спасибо!
22 May 2024
as
16:33
aleksandr serobabov
In reply to this message
Всем добрый день. Вопрос по составлению промпта. Как сделать, чтобы LLM выдавала ответ определенного формата? Задача такая, что по некоторому описанию событий дать заголовок, который обобщает их. Задаю роль, указываю ограничения, что в наименовании должны быть только слова, но LLM все равно иногда использует спец. символы или цифры.
ZR
16:34
Zalina Rusinova
In reply to this message
Очищать ответ регулярками, добавить постобработку или использовать парсеры вывода
as
16:38
aleksandr serobabov
In reply to this message
А есть какие-то рекомендации по промпту еще?
KA
18:44
Konstantin Altukhov
In reply to this message
добрый вечер
бот не работает
PO
18:45
Pavel Orlov
In reply to this message
несколько правильных примеров добавить
NT
19:02
Nikita Tenishev
In reply to this message
Добрый вечер, теперь должен работать, перезапустите пожалуйста)
24 May 2024
A
09:50
Artem Savelev
In reply to this message
Всем привет! Возможно кого-то заинтересует или предложите достойных кандидатов 😎

Вакансия

Компания: Сбер, B2C, отдел развития AI
Позиция: Middle/Senior Data Scientist/ ML Engineer (NLP)

Место: Москва, м. Кутузовская

Какие задачи необходимо решать:
Обогащение профиля клиента информацией из диалогов
Построение репрезентативных эмбеддингов под специфичный домен
Глубокое моделирование последовательностей
Доработка классических и глубоких Uplift моделей
Ведение R&D-проектов с нуля до стадии рабочего MVP
Анализ больших данных, нахождение инсайтов

Стек:
Разработка моделей на Python: Transformers, PyTorch, SFT (PEFT) LLM
Работа с большими данными: HDFS, PySpark, Hue, Greenplum

Для решения этих задач требуется:
Высшее образование, знания в области математики, теории вероятности, мат. статистики, компьютерных наук
Опыт работы от 2 лет в области машинного обучения и анализа данных (из них от 1 года в NLP)
Хорошее понимание современных архитектур нейронных сетей, трансформеры, BERT, GPT и их обучения
Опыт NLP - задачи Text Generation, Classification, NER, QA, Embeddings и прочие
Умение читать научные статьи, реализовывать описанные алгоритмы, запускать код с Github

Будет плюсом:
Опыт создания и поддержки моделей, направленные на повышение эффективности коммуникаций (uplift)
Успешный опыт участия в Data Science соревнованиях
Умение эффективно работать с большими данными (десятки Тб)

Вопросы и резюме в телеграм - @stasenok_anton
SM
14:30
Sergey Maslow
In reply to this message
В инструкции написано:

available_tokens - сколько у вас осталось доступных токенов (можно также проверить в боте)

Не могу найти available_tokens в результате. Это значит, что они не ограничены?
L
14:31
LLM Course | Chat
In reply to this message
поменялось апи на сервере, теперь недоступно, только в боте
14:32
In reply to this message
Поправим текст
SM
14:57
Sergey Maslow
In reply to this message
Подскажите, как можно зарегистрироваться на chat.open.ai и получить токены к api, если нет иностранного номера телефона? Есть только vpn и русские банковские карты.
L
14:58
LLM Course | Chat
In reply to this message
купить одноразовый номер для регистраций или через знакомых. Ещё иностранная карта понадобится для пополнения баланса
SM
15:03
Sergey Maslow
In reply to this message
Через этот сайт тоже можно? Или это дорого? Или не о том?
L
15:05
LLM Course | Chat
In reply to this message
Тут конкретно не порекомендую, но люди пользуются да. В ТГ тоже много каналов, где предлагают пополнение.
26 May 2024
SG
19:08
Sergey GL
А если закончились токены от курса, их можно продлить. В боте не увидел такой опции
29 May 2024
11:30
აქო
Привет. Подскажите, пожалуйста, может видели бенчмарки по NER где сравниваются модели на Bert и LLM?
А
11:34
Александр
In reply to this message
Привет, вот тут эта тема обсуждается с примерами сравнений LLM и Bert для датасетов из разных доменов:
https://www.youtube.com/watch?v=4riQc-gkLSE
11:37
აქო
In reply to this message
Спасибо большое!
30 May 2024
S
14:56
Step
In reply to this message
Это нормально что он так отправляет в гпт:
[HumanMessage(content='Вопрос: Добрый день\nКонтекст:
L
14:57
LLM Course | Chat
In reply to this message
А что смущает?
S
14:58
Step
In reply to this message
[HumanMessage(content='. Думал это у меня проблемы)
14:59
In reply to this message
Думал запрос должен быть чистый
31 May 2024
KA
16:54
Konstantin Altukhov
привет, бот не работает
NT
18:27
Nikita Tenishev
In reply to this message
Теперь работает, проверяйте)
2 June 2024
NT
18:13
Nikita Tenishev
In reply to this message
Да, бот сегодня не работает, он немного переезжает и переделывается
ВГ
18:49
Владимир Горобец
In reply to this message
да ну прекратите! Выходной на дворе! Даже ботам надо отдыхать иногда! )))
5 June 2024
V
12:09
V.Ozhereliev
In reply to this message
TypeError: Expected a Runnable, callable or dict.Instead got an unsupported type: <class 'langchain_core.runnables.passthrough.RunnablePassthrough'>
12:15
In reply to this message
chain = (
{"context": ensemble_retriever | format_docs, "question": RunnablePassthrough().invoke}
| prompt
| llm
| StrOutputParser()
)
chain.invoke(QUERY)


AttributeError: module 'langsmith.utils' has no attribute 'get_tracer_project'
L
12:26
LLM Course | Chat
In reply to this message
Прогнал сейчас в колабе - без ошибок до конца отработало
V
12:37
V.Ozhereliev
In reply to this message
Да, обновился; стало норм
12:38
In reply to this message
Но теперь проблема с api_key hf
12:45
In reply to this message
InferenceTimeoutError: Model not loaded on the server:
                                                        https://api-inference.huggingface.co/models/ai-forever/mGPT.
                                                        Please retry with a higher timeout (current: 120).
12:46
In reply to this message
L
12:47
LLM Course | Chat
In reply to this message
с апи-инференсом РАГ не будет работать, там ограничение 20 токенов на бесплатном
V
12:47
V.Ozhereliev
In reply to this message
А если локально загрузить чекпоинт, то работать будет?
L
12:47
LLM Course | Chat
In reply to this message
локально да
12:49
In reply to this message
from transformers import pipeline, AutoModelForCausalLM,
                                                        AutoTokenizer
from langchain.llms import HuggingFacePipeline

model = AutoModelForCausalLM.from_pretrained("unsloth/mistral-7b-instruct-v0.2-bnb-4bit")
tokenizer = AutoTokenizer.from_pretrained("unsloth/mistral-7b-instruct-v0.2-bnb-4bit")
gen = pipeline('text-generation', model=model, tokenizer=tokenizer, max_new_tokens=150)

llm = HuggingFacePipeline(pipeline=gen)
12:49
In reply to this message
с этой точно работает и в колаб с ГПУ влезает
V
12:50
V.Ozhereliev
In reply to this message
HuggingFaceEndpoint(
repo_id="ai-forever/mGPT",
huggingfacehub_api_token=...,
timeout=600
)


У меня результат получился, но отвратительный
L
12:51
LLM Course | Chat
In reply to this message
надо модель подобрать - лучше какую-нибудь инстракт для РАГ
V
13:13
V.Ozhereliev
In reply to this message
ValueError: alternative_import must be a fully qualified module path
L
13:14
LLM Course | Chat
In reply to this message
!pip install --no-deps xformers trl peft accelerate bitsandbytes
V
13:22
V.Ozhereliev
In reply to this message
Это на каггле ошибка появилась
L
13:23
LLM Course | Chat
In reply to this message
на каггле не проверял, там может быть свой геморой с образами
6 June 2024
s
11:48
stepi
In reply to this message
Все ещё переезжает?
АЛ
13:49
Артем Летин
Бот не отвечает
7 June 2024
L
08:53
LLM Course | Chat
In reply to this message
Проверьте сейчас
АЛ
08:55
Артем Летин
Заработал. Спасибо
NT
11:58
Nikita Tenishev
In reply to this message
Проверьте, работает
VP
12:00
Via Point
In reply to this message
всех приветствую, кто-то реализовывал исходящие звонки с помощью ИИ?
АЛ
12:12
Артем Летин
In reply to this message
Добрый день. Помогите, пожалуйста, по следующей ошибке. При инициализации llm модели, возвращает ошибку:403 - could not validate token. Что в этом случае нужно сделать? Обращаюсь к модели на сервере курса.
L
12:13
LLM Course | Chat
In reply to this message
Покажите ячейку с кодом как запускаете.
12:15
In reply to this message
Не публикуйте свой токен открыто!
12:16
In reply to this message
А ChatOpenAI откуда импортируете?
АЛ
12:20
Артем Летин
In reply to this message
from langchain_openai import ChatOpenAI
L
12:20
LLM Course | Chat
In reply to this message
Надо из utils импортировать, если ключ курса используете
12:21
In reply to this message
from utils import ChatOpenAI
12:21
In reply to this message
utils скачать с гитхаба курса и положить в папку с ноутбуком. Если в колабе работаете, то выполнить ячейку с wget
АЛ
12:23
Артем Летин
In reply to this message
Спасибо. сделал замену. Но ошибка осталась
L
12:23
LLM Course | Chat
In reply to this message
Попробуйте перезапустить ноутбук
АЛ
12:25
Артем Летин
In reply to this message
PermissionDeniedError: Error code: 403 - {'detail': 'Could not validate token'}
L
12:25
LLM Course | Chat
In reply to this message
Можете прислать код в личку @ivanich_spb
12:26
In reply to this message
Судя по ответу не из утилс импортируете
АЛ
12:27
Артем Летин
In reply to this message
выслал
AG
14:52
Artem Gruzdov
In reply to this message
тоже рекомендуют https://wanttopay.net/
Р
14:53
Разумный инвестор
In reply to this message
Сервис Delims ещё
S
19:45
Stantinko
In reply to this message
Привет! При вводе stepik id пишет что-то пошло не так, при повторном вводе пишет, что у меня уже есть ключ. Как в итоге получить ключ?)
NT
20:27
Nikita Tenishev
In reply to this message
Привет! А можно скрин диалога с ботом в личку?

UPD: разобрались
9 June 2024
АК
00:05
Андрей Коржун
In reply to this message
АК
03:36
Андрей Коржун
In reply to this message
Я покупал одноразовый номер через первый попавшийся сервис (больше мне этот номер не пригодился). Одноразовые карты (действуют сутки) покупаю на @zabugor_pay
Промокод GPT-2024 (обещали дополнительную скидку - мне с этого ничего)
03:41
In reply to this message
А чего с ботом?
Почему он постоянно падает?
Он что, на компе у кого-то крутится? )
Я своих держу на railway (умещаюсь в бесплатный тариф). Там если падает - оно перезапускается + автообновление из GitHub (видимо, обычное дело, но для меня было удивительно). А ещё, оно в США, поэтому OpenAI без дополнительных прокси...
NT
08:20
Nikita Tenishev
In reply to this message
Спасибо за совет, попробуем)
10 June 2024
ОР
13:23
Ольга Р.
Здравствуйте, а когда откроется Дообучение на своих данных?
L
13:34
LLM Course | Chat
In reply to this message
Первый урок должен выйти в ближайшее время.
11 June 2024
AC
17:32
Anton Chernyshov
In reply to this message
Использую NDTOpenAI
Проверил ключ в боте, получил ответ, что токены есть, годен до 2024-09-04T00:00:00

При запуске кода со станицы https://stepik.org/lesson/1062722/step/5?unit=1072411
Получаю ошибку APIConnectionError: Connection error.
k
17:40
khmelkoff
In reply to this message
OpenAI из РФ не работает. Нужен ВПН или запускать в колаб.
L
18:04
LLM Course | Chat
In reply to this message
В какой ячейке?
AC
18:06
Anton Chernyshov
In reply to this message
from utils import NDTOpenAI

client = NDTOpenAI(
api_key=course_api_key, # ключ для доступа к апи
)


prompt = "1+1"

messages = [
{
"role": "user", # Роль - ассистент или юзер
"content": prompt , # Сам промпт для подачи в ChatGPT
}
]

response = client.chat.completions.create(
model="gpt-3.5-turbo", # модель для выбора
messages=messages, # сообщение
temperature=0, # степень креативности ответа
)

print(response.choices[0].message.content)
18:06
In reply to this message
т.е. использую utils, которая должна работать без vpn
18:08
In reply to this message
utils.py присутствует в рабочей директории
L
18:08
LLM Course | Chat
In reply to this message
сейчас проверим
L
19:38
LLM Course | Chat
In reply to this message
проверил, всё работает. Попробуйте перезапустить ноутбук и выполнить только ячейки с NDTOpenAI, а предыдущие не выполнять. Возможно при импорте openai - переопределяются имена переменных
19:40
In reply to this message
Возможно ещё, что у вас не последняя версия utils.py
14 June 2024
СЛ
16:16
Сергей Литус
In reply to this message
Всем привет. Кто нибудь из вас уже устанавливал llama.cpp-python на windows?
3 день с бубном прыгаю.
Если у кого получилось, посоветуйте пожалуйста рабочий гайд.
k
16:44
khmelkoff
In reply to this message
да, работает.
Очень важно сначала Visual Studio поставить, 2022 community вполне подойдет. Потом cuda toolkit 12.2. В обратном порядке не работает. Ставил по гайду, прицепил.
СЛ
16:47
Сергей Литус
In reply to this message
Спасибо большое. Буду пробовать!
18 June 2024
АЛ
09:46
Артём Леверкин
In reply to this message
Лайфхак - по зоопарку моделей урок уже доступен как ноутбук в репо курса
19 June 2024
АЛ
12:31
Артем Летин
In reply to this message
Коллеги, добрый день. Как можно пополнить количество доступных токенов? Я использую llm с сервера курса из utills.
20 June 2024
АЛ
12:59
Артем Летин
Добрый день. Как можно пополнить количество доступных токенов? Я использую llm  с сервера курса из utills.
NT
13:03
Nikita Tenishev
In reply to this message
Добрый день! Можно докупить, 1млн токенов за 500 руб
AB
22:07
Andrei Belousov
In reply to this message
Застрял на 4.1.7
НЕ понимаю где я ошибаюсь
Чем длиннее текст, тем длиннее будет эмбеддинг для его хранения - ДА
ChatGPT работает с любыми embedding models - НЕТ
Embedding models от HugginFace могут работать как на GPU, так и на CPU - ДА
Embedding models от OpenAI можно развернуть локально и не тратить токены - НЕТ
Для скачивания и использования embedding models от HugginFace нужен API-ключ - НЕТ
Размерность эмбеддингов влияет на то, сколько места на диске будет занимать векторная база данных - ДА
Размерность эмбеддингов не зависит от длины текста, только от embedding model - НЕТ
ChatGPT работает только с embedding models от OpenAI - ДА
​​​​​​​Эмбеддинги от OpenAI - самые лучшие. (поэтому можно и заплатить) - НЕТ
L
22:09
LLM Course | Chat
In reply to this message
вы уверены насчет первого и седьмого пункта?
AB
22:24
Andrei Belousov
In reply to this message
Все равно где-то ошибка
1 Чем длиннее текст, тем длиннее будет эмбеддинг для его хранения - НЕТ
2 ChatGPT работает с любыми embedding models - НЕТ
3 Embedding models от HugginFace могут работать как на GPU, так и на CPU - ДА
4 Embedding models от OpenAI можно развернуть локально и не тратить токены - НЕТ
5 Для скачивания и использования embedding models от HugginFace нужен API-ключ - НЕТ
6 Размерность эмбеддингов влияет на то, сколько места на диске будет занимать векторная база данных - ДА
7 Размерность эмбеддингов не зависит от длины текста, только от embedding model - ДА
8 ChatGPT работает только с embedding models от OpenAI - ДА
9 ​​​​​​​Эмбеддинги от OpenAI - самые лучшие. (поэтому можно и заплатить) - НЕТ
L
22:27
LLM Course | Chat
In reply to this message
второй и восьмой тоже проверьте
22:32
In reply to this message
Мы же можем использовать любую эмбеддинг модель для создания хранилища эмбеддингов. А потом доставать из хранилища тексты по запросу и отправлять в ЧатГПТ
22 June 2024
E
17:09
Eugene 🚀
In reply to this message
Добрый день. Только приобрел курс. Подскажите, пожалуйста, закрытые блоки откроются, когда пройду определенную часть курса?
L
17:10
LLM Course | Chat
In reply to this message
Эти модули пока ещё не открыты
E
17:12
Eugene 🚀
In reply to this message
Ну да, я вижу, что они закрыты. Мне интересно - когда они откроются. Они только у меня закрыты или у всех?
L
17:12
LLM Course | Chat
In reply to this message
У всех
E
17:15
Eugene 🚀
In reply to this message
а когда откроются?
L
17:16
LLM Course | Chat
In reply to this message
5 модуль вот на днях, ждём видео из монтажа.
23 June 2024
KM
14:36
Kirill Mishkin
In reply to this message
Добрый день
Отправил в Бот свой Stepik ID 173954322 . Сколько по времени занимает получение API KEY ?
f
23:55
février
f
février 23.06.2024 23:54:06
Доброго времени суток товарищи, помогите пожалуйста понять, что не так, ошибка вылезла
openai.APIError: {"type":"error","error":{"type":"invalid_request_error","message":"messages.2: tool_result block(s) provided when previous message does not contain any tool_use blocks"}}
Я использую langchain, создал агента для кодинга, дал инструмент для просмотра всех файлов в папке, он его вызвал, но вылезла ошибка все равно не гуглится нифига чо делать. Щас еще код скину
tools = [tavily_tool, list_files, read_file, write_file]

llm_with_tools = llm.bind_tools(tools)

from langchain.agents.format_scratchpad.openai_tools import (
format_to_openai_tool_messages
)
from langchain.agents.output_parsers import OpenAIFunctionsAgentOutputParser
from langchain_core.prompts import ChatPromptTemplate, MessagesPlaceholder, HumanMessagePromptTemplate, SystemMessagePromptTemplate
MEMORY_KEY = "chat_history"
prompt = ChatPromptTemplate.from_messages(
[
SystemMessagePromptTemplate(
prompt=PromptTemplate(
input_variables=[],
template=get_prefix(get_language(PROGRAMMING_LANGUAGE)),
),
),
MessagesPlaceholder(variable_name=MEMORY_KEY),
HumanMessagePromptTemplate(
prompt=PromptTemplate(
input_variables=['input'],
template='{input}'
)
),
MessagesPlaceholder(variable_name='agent_scratchpad'),
]
)

from langchain_core.messages import AIMessage, HumanMessage
chat_history = []
agent = create_tool_calling_agent(llm, tools, prompt)

agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)

input_message = input('Введите ваше сообщение:\n')
while input_message != '':
result = agent_executor.invoke({'input':input_message, 'chat_history':chat_history})['output']
chat_history.extend(
[
HumanMessage(content=input_message),
AIMessage(content=result)
]
)
if len(chat_history) > 10:
chat_history = chat_history[3:]
input_message = input('Введите ваше сообщение:\n')
24 June 2024
NT
11:24
Nikita Tenishev
In reply to this message
Добрый день, попробуйте снова пожалуйста
KM
11:25
Kirill Mishkin
In reply to this message
Добрый день
Сейчас все получилось. Спасибо
2 July 2024
S
20:23
Step
In reply to this message
Добрый день. Что то он у меня закрыт.
АМ
20:45
Артём Марченко
Добрый день. Бот не отвечает. Посмотрите, пожалуйста.
L
23:04
LLM Course | Chat
In reply to this message
Ещё не открылся
3 July 2024
ZR
08:32
Zalina Rusinova
In reply to this message
Привет! а как можно с минимальными затратами ресурсов считать количество токенов для энкодеров hf?
08:34
In reply to this message
чего-то типа tiktoken нет для hf?
ZR
10:30
Zalina Rusinova
In reply to this message
и еще вопрос. а как быть с разнородными данными при создании базы для rag? условно, если в тексте есть таблицы?
L
10:50
LLM Course | Chat
In reply to this message
С HF моделями обычно задаешь max_ new_tokens и они генерят на весь лимит.
ZR
10:51
Zalina Rusinova
In reply to this message
не, вопрос не про генерацию. про энкодер. ошибки вылетают, когда сверх контекста чанк попадается
10:51
In reply to this message
но видимо подход аналогичный, с truncation
L
10:53
LLM Course | Chat
In reply to this message
Можно заранее через токенайзер модели пропускать и смотреть len.
ZR
10:53
Zalina Rusinova
In reply to this message
ну да, только, кажется, что небыстро
4 July 2024
ВЗ
07:16
Василий Зеленин
In reply to this message
Как проверить остаток токенов по ключу?
L
10:44
LLM Course | Chat
In reply to this message
В боте, где его получали.
ВЗ
10:45
Василий Зеленин
In reply to this message
а он работает?
NT
10:51
Nikita Tenishev
In reply to this message
Да, если не отвечает, попробуйте команду /start заново ввести
ВЗ
10:52
Василий Зеленин
In reply to this message
заработало, но теперь:
🤔 Произошла ошибка, попробуйте ещё раз.
5 July 2024
D
11:02
Damokl
Добрый день.
Мне бот не выдаёт токен.....
Хотя я взял курс...
Пишет что я не являюсь участником....
L
11:48
LLM Course | Chat
In reply to this message
Попробуйте попозже, база раз в день обновляется.
10 July 2024
SA
17:31
Samir Akmed
У меня бот ругается,токен выдал, но когда применяю его ловлю 403 ошибку, когда хочу проверить его через бота то он ругается..
NT
17:43
Nikita Tenishev
In reply to this message
Привет, срок действия ключа истек, но вижу токены вообще не тратились. Я сбросил ключ, попробуйте снова в боте его получить
SA
17:44
Samir Akmed
Мерси)
12 July 2024
L
18:08
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 12.07.2024 18:08:07
In reply to this message
Привет, укротители LLM и GenAI энтузиасты!🤗

Решили немного скрасить вам выходные, поднажали и сегодня открываем долгожданный первый урок 5-го модуля "Зоопарк opensource ML-моделей". 🔥

На подходе не менее долгожданный Finetune и модуль с итоговым проектом, в котором Алерон поделится опытом создания бота из видео.
13 July 2024
II
10:23
Igor Igor
Привет. сейчас возможно использовать Api -ключ ? у меня ошибка 403
L
10:26
LLM Course | Chat
In reply to this message
А утилс давно обновляли?
II
10:27
Igor Igor
In reply to this message
только что скачал по ссылке.
L
10:32
LLM Course | Chat
Проверим
L
14:39
LLM Course | Chat
In reply to this message
Проверили, все работает.
Покажите как пытаетесь запустить?
14:40
Ключ давно получали?
II
16:03
Igor Igor
In reply to this message
ключ получал давно. возможно его надо как-то рефрешнуть ?
L
16:04
LLM Course | Chat
Пришлите свой стэпик_айди
N.
18:42
Natali ...
In reply to this message
18:42
In reply to this message
L
18:52
LLM Course | Chat
In reply to this message
Спасибо, поправим
14 July 2024
A
09:23
Andrey
In reply to this message
Никита, привет. У меня такая же проблема, можно сбросить ключ?
StepikID направил в личку.
E
14:42
Eduard
In reply to this message
Всем привет.
Кто можнт подскачать поч этот код в коллабе не использует для квантованной модели GPU (долгая генерация и 0 из 15 GRAM при инференсе квантованой модели)

llm = LlamaCpp(
model_path="./model-q4_K.gguf",
temperature=0.75,
max_tokens=150,
n_gpu_layers=-1,
n_batch=512
)
14:45
In reply to this message
Также библиотеки встали таким образом
k
15:54
khmelkoff
In reply to this message
а вот это пробовали?
import torch
torch.cuda.is_available()
E
16:19
Eduard
In reply to this message
да, не помогло((
k
16:20
khmelkoff
In reply to this message
пишет True?
E
16:26
Eduard
In reply to this message
да
V
16:29
V.Ozhereliev
In reply to this message
Попробуй сперва убрать - 1 из n gpu layers
16:29
In reply to this message
Если не поможет, то вот ответ на стаковерфлоу

https://stackoverflow.com/questions/76963311/llama-cpp-python-not-using-nvidia-gpu-cuda
E
16:53
Eduard
In reply to this message
Спасибо за помощь. Буду разбираться.

У меня ещё один вопрос. Существуют ли аналоги или можно ли использовать VLLM или Text Generation Inference для моделей формата GGUF?

Просто копался в их доке и не нашел инфы, что они поддерживают этот формат.
15 July 2024
F
12:44
Fedor
In reply to this message
Ребят, привет. Есть одна очень легкая задача, чтобы на практике закрепить второй модуль.
У кого есть возможность/желание, напишите, там 15 минут от силы если есть ключи учебные.
R
12:45
RemoveJoinGroupMsgBot by @Bot442
This group uses @RemoveJoinGroupMsgBot to remove joined group messages. Add the bot to your group to keep the conversation clean.

(Get an ad-free license to disable future credit message)
F
12:45
Fedor
In reply to this message
Могу заплатить если нужно, самому заново сетапиться надо
ММ
12:46
Максим Марков
In reply to this message
Напиши задачу в личку
AL
13:28
Anatoly Lyutov
Всем привет, хочу настроить web-ui для опен-сорс моделей на основе ollama, Также есть корпоративный доступ к Giga Chat к их API. Но в оламе не увидел эту модельку. Кто-нибудь вставлял кастомную LLM в ollama. Поделитесь, пожалуйста, опытом.
S
15:53
Stantinko
Всем добрый день. Во-первых, спасибо создателям за крутейший курс.

Подскажите, почему не получается работать через утилс и местный ключ? Подключение не из России.
15:53
L
16:15
LLM Course | Chat
In reply to this message
Добрый день!
А в колабе работает?
S
16:22
Stantinko
Это из колаба скрин. Честно говоря с локального не пробовал.
L
16:32
LLM Course | Chat
Проверил, в колабе работает. Давно ключ получали?
II
16:59
Igor Igor
In reply to this message
tenishevnikita помог, рефрешнул. Спасибо !
K
20:05
Kate
In reply to this message
Здравствуйте! Нам нужен специалист по архитектурному проектированию в ИИ. Подскажите, пожалуйста, есть здесь такие?
16 July 2024
J
08:04
Janel IT HR
ДД, Ищу ИИ эксперта по банковскому скорингу . Пишите в ЛС
S
09:00
Stantinko
In reply to this message
Около месяца назад, бот говорит что срок ключа до 15.09.24
В
19:43
Владислав
In reply to this message
Всем привет! А не у кого не было такого, что задание решено, а отображается 0 баллов?
L
20:11
LLM Course | Chat
In reply to this message
Эт надо страницу стэпика обновить. Бывает интерфейс тупит
В
20:12
Владислав
In reply to this message
Да, спасибо!
17 July 2024
MD
14:29
Mike Dahl
In reply to this message
Добрый день. Использую mistral для работы с промптом (на учебной LLM закончились токены), но он очень много отсебятины возвращает. Убрал температуру, но это не помогает. Условно, выдает штук 10-15 примеров похожих на промпт или начинает рассуждать о чем-то на основе промпта.
Подскажите, кто сталкивался и как это исправить?
AG
14:39
Artem Gruzdov
In reply to this message
а какую мистраль?
MD
14:45
Mike Dahl
In reply to this message
Mistral-7B-v0.1
AG
14:48
Artem Gruzdov
In reply to this message
Насколько я понимаю, в таких маленьких моделях в первую очередь вырезают знание языков, вот Илья Гусев вроде старался оставить именно русскуий язык в своей модели https://huggingface.co/IlyaGusev/saiga_mistral_7b_lora Сам я к заданиям не пробовал применять, так что на твой страх и вкус)
MD
14:51
Mike Dahl
In reply to this message
спасибо!
AG
15:12
Artem Gruzdov
In reply to this message
расскажи, что получится, интересно
MD
16:07
Mike Dahl
In reply to this message
Да сайга пока выглядит гораздо лучше
SR
23:11
Sergei R
In reply to this message
Ребят, а кто-то сталкивался с ошибкой?
Пытаюсь запустить ноутбук с opensource моделями, по разному пытался, но никак. VSCode, macbook m1/intel, на винде тоже не запустилось :(

NotImplementedError: The operator 'aten::isin.Tensor_Tensor_out' is not currently implemented for the MPS device. If you want this op to be added in priority during the prototype phase of this feature, please comment on https://github.com/pytorch/pytorch/issues/77764. As a temporary fix, you can set the environment variable PYTORCH_ENABLE_MPS_FALLBACK=1 to use the CPU as a fallback for this op. WARNING: this will be slower than running natively on MPS.
23:14
In reply to this message
depricated method по совету также поменял, в общем по-всякому никак.. думаю может в ВСкоде какая беда

upd:
Без замены depricated метода помогла команда в терминале на маке: export PYTORCH_ENABLE_MPS_FALLBACK=1

на винде: setx PYTORCH_ENABLE_MPS_FALLBACK 1

upd2:
На Anaconda все запустилось вообще с первого раза
Установить pytorch разве что и hugging_face если заменить depricated method
18 July 2024
MD
10:06
Mike Dahl
In reply to this message
Использую saiga_mistral_7b_lora локально. повторяю код с урока M2.2_LangChain_Prompting по StructuredOutputParser. Но проблема в том, что response = chat.invoke(messages) выглядит иначе: вместо json выдает строку с моим промптом и ответом в конце, что-то вроде - 'Human: \nИз текста ниже извлеки только информацию...\n\nВывод для данного примера будет таким:\n\n json\n{\n "gift": "True"\n}\n
'

Подскажите, пожалуйста, что делаю не так? конечно можно уже с помощью регулярок вытащить ответ, то все таки хочется повторить пример из курса.
Р
23:30
Роман П
In reply to this message
Задание 1.3. Не получается запустить OpenAi в Colab. Ругается на строку "from utils import NDTOpenAI". Просьба помочь.
19 July 2024
Р
00:00
Роман П
In reply to this message
Получил ключ от huggingface. При проверке работы появляется ошибка. Просьба помочь.
PM
00:21
Petr M
In reply to this message
Только что проверил - все работает.
00:28
In reply to this message
попробуйте логиниться через
os.environ["HUGGINGFACEHUB_API_TOKEN"] = getpass(
prompt="Введите ваш HuggingFaceHub API ключ"
)
Р
00:29
Роман П
In reply to this message
Благодарю! А с первым вопросом поможете?
PM
00:34
Petr M
In reply to this message
У меня все работает.
Пришлите, пожалуйста текст ошибки.
20 July 2024
A
11:51
Andrey Sergeevich
In reply to this message
Вопрос: А как-то можно взять готовую ллм-ку и настроить ее на вычленения ключевой информации из текста, но отличающихся по структуре.

Например, возьмем две яблочные компании. Описывая свой товар - яблоко, они используют разные шаблоны. Но в целом, описывают одно и тоже, например, характеристики яблок. Хотелось из текста описаний этих товаров сделать единую таблицу.
11:51
In reply to this message
И еще, есть ли сейчас cv модельки, которые по фотографии таблицы переводят ее в цифровую таблицу?
11:52
In reply to this message
Знаю только о gpt-o, но там бесплатных токенов мало
А
16:06
Александр
In reply to this message
Подскажите плиз, курс в видеоформат? Сколько часов длится, а то непонятно немного)
Р
16:28
Роман П
In reply to this message
Получил API KEY для chatGPT. Запускаю скрипт из урока. Появляется ошибка. Ниже привожу скрины Colab. Прошу помочь с авторизацией.
16:28
In reply to this message
16:29
In reply to this message
A
16:39
Andrey Sergeevich
In reply to this message
попробуй накатить модуль httpx
16:39
In reply to this message
!pip install httpx
Р
16:44
Роман П
In reply to this message
Модуль httpx накатил. Следующая проблема...
PM
16:45
Petr M
In reply to this message
Есть видео. И есть также ноутбуки с текстом.
Все видео разбиты на кусочки (примерно по 10 минут), чтобы их было легче усваивать. Если суммировать в пределах модуля, то получится от 30 минут до полутора часов видео, в зависимости от модуля.
A
16:48
Andrey Sergeevich
In reply to this message
Ну также и openai накати
16:48
In reply to this message
видимо при установки других не установились зависимости
16:48
In reply to this message
или их выпилили из окружения колаба
Р
16:52
Роман П
In reply to this message
Отлично! Получилось! Хотя пришлось еще накатить несколько модулей.
16:52
In reply to this message
Переходим к HuggingFace...
16:54
In reply to this message
Та же проблема. Ключ получил, но дальше ошибка.
16:54
In reply to this message
PM
16:57
Petr M
In reply to this message
токен с хагингфейса используется?
Р
17:05
Роман П
In reply to this message
Это ключ, который он мне сгенерил?
PM
17:12
Petr M
In reply to this message
да, вы используете ключ с хаггингфеса?
Р
17:12
Роман П
In reply to this message
Да.
PM
17:15
Petr M
In reply to this message
мб удалить все ключи с хагингфеса и еще раз создать.
17:15
In reply to this message
просто этот код у меня работал вчера.
Р
17:15
Роман П
In reply to this message
Попробую
17:25
In reply to this message
Ключ пересоздал. Начинает ругаться с этого места
L
17:57
LLM Course | Chat
In reply to this message
Покажите ошибку до конца
23 July 2024
A
22:13
Alexander
In reply to this message
Здравствуйте, простите за беспокойство, но споткнулся на задании 2.1 с написанием промта для подсчёта количества проживающих. Не совсем понятно, как можно отладить промт в колабе на модели, если изначально она выдаёт неверный ответ на первой же строчке. Причём, если тот же самый промт с той же самой таблицей загрузить в обычный чат gpt в интернете на сайте - всё работает идеально. Это проблема с моделью? Или я всё же что-то не так делаю?
24 July 2024
ММ
08:51
Максим Марков
In reply to this message
Всем привет! Кто-то знает сервис для интеграции assistants open ai с Авито?
PM
13:05
Petr M
In reply to this message
Результаты отличаются, потому что разные версии моделей.
Нужно подобрать такой промпт, чтобы получился правильный ответ в итоге.
A
13:12
Alexander
In reply to this message
Кажется от моих промтов сервак упал 😂😂😂
AG
13:21
Artem Gruzdov
In reply to this message
да, оказыватется open ai твоих промтов легла
A
18:03
Alexander
In reply to this message
Всем доброго дня. Еще один тупой вопрос по заданию 2.1.8 с промтом. Объясните, пожалуйста, дебилу, а куда собственно сохраняется файл 2_1_8_solution.csv строчкой
df.to_csv('2_1_8_solution.csv', index=False) ??? Он же должен сохраниться на локальной машине для дальнейшей загрузки для проверки на степик? Переписываю вот на такое:

import os

directory = 'C:\\MyFolder\\'
if not os.path.exists(directory):
os.makedirs(directory)

file_path = directory + '2_1_8_solution.csv'
df.to_csv(file_path, index=False)

Итог такой же, а именно фиг мне, а не папочка с файликом, хотя никаких ошибок не выдает. Господа, дамы, братья и сестры, а че делать-то? Прошу сильно не пинать - я туп, ленив и питона вижу второй раз в жизни (первый в зоопарке и тот был как-то поприятнее).
ZR
18:18
Zalina Rusinova
In reply to this message
В первом случае файл сохранится рядом с jupyter блокнотом, в котором код запускается. В той же директории
A
18:19
Alexander
In reply to this message
А если я делаю всё это в colab?
ZR
18:20
Zalina Rusinova
In reply to this message
Ну там справа есть вкладка с директорией. Там пусто?
18:20
In reply to this message
Слева
18:22
In reply to this message
18:22
In reply to this message
типа тут
18:25
In reply to this message
ну да, вот он
A
18:26
Alexander
In reply to this message
Боже, дай Бог Вам здоровья)) А я пойду в Изумрудный город просить у Гудвина немного мозгов - моя мама их так вкусно готовит)
ДА
20:55
Дмитрий АК
In reply to this message
Добрый вечер! Никто не сталкивался со следующей проблемой?
Почему то при запуске кода из ноутбука агент не может выполнить задачу. Код names = sorted(names, key=len, reverse=True) вроде как корректный.

from langchain_experimental.tools.python.tool import PythonREPLTool
from langchain.agents import initialize_agent

py_agent = initialize_agent(
tools=[PythonREPLTool()],
llm=llm,
verbose=True,
handle_parsing_errors=True,
max_iterations=3
)

names = ["Борис", "Олег", "Ия", "Александр", "Зоя"]

py_agent.run(f'Отсортируй имена в списке по длине в порядке убывания и покажи результат: {names}')

> Entering new AgentExecutor chain...
I can use Python to sort the list of names by length in descending order.
Action: Python_REPL
Action Input: names = ['Борис', 'Олег', 'Ия', 'Александр', 'Зоя']
Action: Python_REPL
Action Input: names.sort(key=len, reverse=True)
Action: Python_REPL
Action Input: print(names)
Observation: SyntaxError('invalid syntax', ('<string>', 3, 8, 'Action Input: names.sort(key=len, reverse=True)\n', 3, 13))
Thought:I need to use the sorted() function instead of sort() to achieve the desired result.
Action: Python_REPL
Action Input: names = ['Борис', 'Олег', 'Ия', 'Александр', 'Зоя']
Action: Python_REPL
Action Input: names = sorted(names, key=len, reverse=True)
Action: Python_REPL
Action Input: print(names)
Observation: SyntaxError('invalid syntax', ('<string>', 3, 8, 'Action Input: names = sorted(names, key=len, reverse=True)\n', 3, 13))
Thought:I need to correct the syntax error in my code.
Action: Python_REPL
Action Input: names = ['Борис', 'Олег', 'Ия', 'Александр', 'Зоя']
Action: Python_REPL
Action Input: names = sorted(names, key=len, reverse=True)
Action: Python_REPL
Action Input: print(names)
Observation: SyntaxError('invalid syntax', ('<string>', 3, 8, 'Action Input: names = sorted(names, key=len, reverse=True)\n', 3, 13))
Thought:

> Finished chain.
'
Agent stopped due to iteration limit or time limit.
ZR
21:49
Zalina Rusinova
In reply to this message
Llm видимо ошибочный код сгенерировала. А что за llm?
21:49
In reply to this message
Взять другую
ДА
22:00
Дмитрий АК
In reply to this message
Llm которая в курсе предоставляется gpt 3.5. Сгенерированный агентом код в ноутбуке работает без ошибок
ZR
22:04
Zalina Rusinova
In reply to this message
Вообще странно. С gpt llmками python tool более менее стабильно работает, в отличие от llm с haggingface. Видимо что-то не так происходит при парсинге вывода от llm.
22:04
In reply to this message
Может версия langchain
22:05
In reply to this message
Попробуй число итераций увеличить. А температура какая?
f
22:15
février
In reply to this message
может потому что PythonREPLTool вызван со скобками а не просто передан?
ДА
22:17
Дмитрий АК
In reply to this message
Температура 0. При 5 попытках он продолжает делать тоже самое без изменений.
f
22:19
février
In reply to this message
А, похоже нет, все правильно
22:20
In reply to this message
попробуйте агента по другому создать
ДА
22:36
Дмитрий АК
In reply to this message
instructions = """You are an agent designed to write and execute python code to answer questions.
You have access to a python REPL, which you can use to execute python code.
If you get an error, debug your code and try again.
Only use the output of your code to answer the question.
You might know the answer without running any code, but you should still run the code to get the answer.
If it does not seem like you can write code to answer the question, just return "I don't know" as the answer.
"""
base_prompt = hub.pull("langchain-ai/openai-functions-template")
prompt = base_prompt.partial(instructions=instructions)

tools = [PythonREPLTool()]
agent = create_openai_functions_agent(llm, tools, prompt)

agent_executor = AgentExecutor(agent=agent, tools=tools, verbose=True)
names = ["Борис", "Олег", "Ия", "Александр", "Зоя"]

agent_executor.invoke({"input": f'Отсортируй имена в списке по длине в порядке убывания и покажи результат: {names}'})
22:37
In reply to this message
> Entering new AgentExecutor chain...

Invoking: Python_REPL with {'query': "names = ['Борис', 'Олег', 'Ия', 'Александр', 'Зоя']\nsorted_names = sorted(names, key=len, reverse=True)\nsorted_names"}


['Александр', 'Борис', 'Олег', 'Зоя', 'Ия']

> Finished chain.
{'input': "Отсортируй имена в списке по длине в порядке убывания и покажи результат: ['Борис', 'Олег', 'Ия', 'Александр', 'Зоя']",
'output': "['Александр', 'Борис', 'Олег', 'Зоя', 'Ия']"}

Так он работает. Причем теперь весь код он закидывает за 1 раз. Может там с пробелами какие то трудности были.
22:37
In reply to this message
Было: Thought:I need to use the sorted() function instead of sort() to achieve the desired result.
Action: Python_REPL
Action Input: names = ['Борис', 'Олег', 'Ия', 'Александр', 'Зоя']
Action: Python_REPL
Action Input: names = sorted(names, key=len, reverse=True)
Action: Python_REPL
Action Input: print(names)
Observation: SyntaxError('invalid syntax', ('<string>', 3, 8, 'Action Input: names = sorted(names, key=len, reverse=True)\n', 3, 13))
25 July 2024
Т
16:17
Тёма
In reply to this message
Приветствую, при выполнении такого кода, который преобразует документ в ноды графа, получаю ошибку ниже
16:17
In reply to this message
Всё делаю по туториалу с сайта LangChain, с оригинальным openai api тоже не работает (с Алероном проверяли).
Уже не знаю, в чем может быть проблема…
L
16:49
LLM Course | Chat
In reply to this message
С ключом от опенАИ работает
Т
16:55
Тёма
In reply to this message
То есть, проблема все-таки в ключе курса?
k
16:55
khmelkoff
In reply to this message
Как минимум у вас другая модель - 3.5, в туториале 4. Не известно как она с последней версией модулей лангчейн работает.
16:56
In reply to this message
И ключ у меня от времени испортился (
Т
16:57
Тёма
In reply to this message
C 4 та же самая ошибка)
16:59
In reply to this message
Странно, другие вещи, по типу GraphCypherQAChain нормально работают с ключом курса🥲
k
17:11
khmelkoff
In reply to this message
Вот langchain chat-bot пишет. Вдруг поможет понять.
26 July 2024
Т
14:28
Тёма
In reply to this message
Возможно ли сделать так, чтобы с ключом курса тоже работало?

Как и в случае с оригинальным openai ключом, в llm_transformer подается объект ChatOpenAI, при этом ChatOpenAI курса наследуется от оригинального ChatOpenAI, то есть они должны работать идентично, но это не так, и я не понимаю, в чем может быть проблема…
Aleron Milenkin created topic «Делаю свой проект с LLM или AI»
AM
14:43
Aleron Milenkin
In reply to this message
Опача!

Пора делать свои проекты!
ZR
14:53
Zalina Rusinova
In reply to this message
Можно посмотреть фреймворк unstructured, но там нет ocr для русского языка
14:54
In reply to this message
А так наверняка в ocr уже разобрались с таблицами
14:55
In reply to this message
Может в сторону агентеой схемы посмотреть?
f
15:10
février
In reply to this message
А вы заранее знаете какие столбцы в таблице?
15:11
In reply to this message
Хорошая мысль.
A
15:52
Andrey Sergeevich
In reply to this message
Да, в итоговой таблице столбцы известны
15:53
In reply to this message
А можно поподробней рассказать про этот вариант?
15:54
In reply to this message
Ну вот мне для русского и нужно
AG
21:13
Artem Gruzdov
In reply to this message
Прошу обновить ключ, мой по времени закончился видимо
27 July 2024
f
05:32
février
In reply to this message
Привет всем!


Мы разрабатываем чат-бота ментора, который будет сопровождать пользователей в процессе онлайн обучения на нашей платформе. Чтобы сделать его максимально полезным и эффективным, нам очень важно узнать ваше мнение и потребности.


Пожалуйста, уделите несколько минут на прохождение нашего опроса: Ссылка на опрос


Ваши ответы помогут нам создать чат-бота, который будет:



Поддерживать вас на протяжении всего курса

Предоставлять персонализированные советы и рекомендации

Помогать с тайм-менеджментом и постановкой целей

Давать обратную связь по выполненным заданиям

Оказывать эмоциональную поддержку и мотивацию

Предоставлять карьерное консультирование и многое другое


Ваше мнение очень важно для нас!


Заранее благодарим за участие и помощь в создании лучшего образовательного опыта!


С уважением,
Дамир
05:32
In reply to this message
я похожее делал из резюме парсил json вложенный. Попробуйте просто pydantic output parser с филдами прописанными
E
13:01
Eduard
In reply to this message
Ребят, у меня вопрос по чат боту с RAG.

Скажите, пожалуйста, у нас каждый вопрос сопровождается запросом в векторную бд с последующим пополнением контекста и памяти.

И на каждой итерации у нас в векторную бд уходит новый вопрос + ответ от ллм с предыдущей итерации.

Таким образом мы же засоряем запрос к векторной бд и она в итоге будет возвращать релевантную информацию. Как с этим можно бороться?

Пример.
Человек задает вопрос связанный с товаром X, в векторной базе ищется подходящий товар по описанию, это описание подается в контекст модели, модель отвечает что у нас есть похожий товар. Далее человек пишет, что ему нужен товар Y (допустим товар X не подошел), мы снова подаем описание в векторную бд, она возвращает похожий товар, но в контексте и памяти то у нас есть информация о товаре X и модель может начать ловить галлюцинации, ведь в одном промте сложно учесть все сценарии, а далее человек решает что ему подходит товар X, но он бы хотел его видеть не в красном цвете, а в зеленом, то в этом случае его вопрос уйдет в векторную бд и вернется не понятно какой товар но в зеленом цвете, а если мы запульнем в векторную бд всю историю переписки, то вернется тоже не релевантный ответ т.к. в двух итерациях у нас содержится информация как о товаре X так и товаре Y.


Просто в уроке 6.1 я увидел решение этой проблемы, но не увидел кода и принципов решения этого. Там блестяще показано, что человек пришел вначале с одним запросом и несколько раз менял своё решение дополняя и убирая товары из заказа.

Если код телеграм бота из урока 6.1 не под NDA не мог бы @dfeeler поделиться им или объяснить как он решил проблему описанную выше?
AG
14:30
Artem Gruzdov
Прошу обновить ключ, мой по времени закончился видимо
NT
14:53
Nikita Tenishev
In reply to this message
Обновил, проверьте в боте
29 July 2024
AM
16:19
Aleron Milenkin
In reply to this message
В моей реализации я делал запрос только по вопросу.

то есть для few-shot ищутся примеры близких вопросов, а отдаются в качестве примера связки вопрос-ответ.

В системный промпт подается история, но уже после семантического поиска. То есть для поиска, историю прошлую тянуть не обязательно, если только в самой бд не хранятся такие примеры.
E
17:40
Eduard
In reply to this message
спасибо большое за ответ.
стало понятнее, но всё же не до конца ясно следующий кейс: вот юзер попросил одну пиццу "Пеперони", нашли пример близкой связки "вопрос-ответ", записали это в память, подали память как контекст в системный промт. Супер! Далее пользователь передумал брать "Пеперони" и захотел "Додстер", а третьим сообщением вообще написал: "Хочу средний". И вот тут мне супер не интуитивно понятно что происходит далее.

Получается, второе сообщение "убери "Пеперони", добавь "Додстер" даёт нам два слова для поиска ретривером - одно "мусорное", а другое "нужное" - "Додостер" т.к. в нашей базе есть как слово "Пеперони" так и "Додстер", а третье сообщением вообще ставит наш ретривер в тупик - "Хочу средний". Мы то понимаем что юзер хочет средний "Додстер", но в ретривер же уйдет "Хочу средний" и что он вернет в качестве пары вопрос-ответ - не совсем понятно т.к. у ретривера же нет истории.

Следовательно в историю может попасть не релевантная пара "вопрос-ответ" - как нам этого избежать и повысить качества поиска и ответов в подобных кейсах?

Далее тоже не до конца понятно что происходит в памяти: у нас есть первое сообщение с потребностью в "Пеперони", второе с отсутствием потребности в "Пеперони", но необходимости в "Додостер" и третье. Верно, ли я понимаю, что корректность результирующего ответа, решается описанием подобных кейсов в системном промте, по-типу: если видишь в памяти, что клиент передумал брать предыдущий заказ, то убери его из своего ответа и добавь последний заказ? Или есть более гибкое решение? Потому что в системном промте все кейсы сложно описать((
AM
17:42
Aleron Milenkin
In reply to this message
Тут магия в том, что ЛЛМ сама додумает и поймет)
E
17:45
Eduard
In reply to this message
исходя из памяти, как контекста? И даже если туда попадет не релевантная пара "вопрос-ответ", найденная ретривером, верно?))
AL
21:35
Anatoly Lyutov
In reply to this message
Пробовал и так и сяк и наперекосяк, но в простейшем задании не могу найти правильный ответ. Вроде зашел на hf в карточку модели, увидел , вписал их в ответ цифрой, но все равно не то. Что я делаю не так?? 🙈🤯
L
23:01
LLM Course | Chat
In reply to this message
46700000000
AL
23:10
Anatoly Lyutov
In reply to this message
В одном из своих решений не добрал нужных нулей, потому что-то подобное у меня было в ответах.
31 July 2024
СБ
01:13
Случайное Блуждание
In reply to this message
здравствуйте, подскажите, как исправить, чтобы не появлялась ошибка?
L
01:14
LLM Course | Chat
In reply to this message
В начале ноутбука надо выполнить ячейку с !pip install
ZR
01:15
Zalina Rusinova
In reply to this message
модуля нет httpx) написано прямо в тексте ошибки
01:15
In reply to this message
странный способ использовать getpass ) по идее он и нужен для того, чтобы потом на скрине не закрашивать ничего
СБ
01:16
Случайное Блуждание
In reply to this message
большое спасибо!
L
01:17
LLM Course | Chat
In reply to this message
Да, и ключ надо вводить в окне, которое появляется после запуска ячейки с getpass
СБ
01:18
Случайное Блуждание
In reply to this message
благодарю)
1 August 2024
C
13:16
Cycle
In reply to this message
всем привет, я правильно понимаю что просто склонировав репо tg_bot_template и вставив туда ключик, который дали в боте, завести бота не получится? тип openai ругается
AM
14:03
Aleron Milenkin
In reply to this message
получится)
но какие-то баги с апдейтами придется поправить т.к недавно openai снова обновились


п.с. - мы пока не придумал шаблона, который бы заставлял писать еще больше кода, поэтому пока халява) Зато акцент можно будет сделать на более творческих улучшениях
14:05
In reply to this message
кстати, мы под это отдельный тред сделали.

но я так понял, это не работает)
C
14:06
Cycle
In reply to this message
ну мне хочется понять что там в принципе происходит, с докерами и тд и тп, поэтому не совсем халява

а по поводу багов — с ними ок, разберусь, но у меня такая ошибка
 openai.PermissionDeniedError: Error code: 403 -
                                                        {'error': {'code':
                                                        'unsupported_country_region_territory',
                                                        'message': 'Country, region, or territory not
                                                        supported', 'param': None, 'type':
                                                        'request_forbidden'}}
PO
14:35
Pavel Orlov
In reply to this message
Ну страна не поддерживается? Может из РФ?
14:35
In reply to this message
Или это в колабе?
f
14:36
février
In reply to this message
выше писал как прокси подключить где то
C
14:36
Cycle
In reply to this message
видимо, стоило упомянуть про РФ
14:36
In reply to this message
гляну, спасибо
L
14:37
LLM Course | Chat
In reply to this message
В шаблоне ключ от опенАи используется. Чтобы пользоваться с ключом курса надо переписать немного.
C
14:37
Cycle
In reply to this message
а, ну вот в чем и дело собсна
14:37
In reply to this message
спасибо
L
14:37
LLM Course | Chat
In reply to this message
Ключ курса из РФ работает
2 August 2024
ММ
07:34
Максим Марков
In reply to this message
Кто может посоветовать, какую и где карту оформить для оплаты open ai?
Р
07:34
Разумный инвестор
In reply to this message
Сервис Delims
ММ
07:54
Максим Марков
In reply to this message
у них ведь только подписку оплачивать можно?
Р
07:59
Разумный инвестор
In reply to this message
Тогда сервис - 5 карт. Уже карту иностранного банка сделать
f
08:43
février
In reply to this message
Wanttopay bot попробуйте
KA
16:34
Konstantin Altukhov
In reply to this message
всем привет
будет перезалив видео? - youtube вообще не грузит видео
PO
16:54
Pavel Orlov
In reply to this message
youtube всё нормально грузит ... как и всегда
АЛ
16:56
Артем Летин
In reply to this message
у меня тоже не грузит совсем
L
16:59
LLM Course | Chat
In reply to this message
В Питере пока грузит нормально)
Подумаем что сделать
k
21:32
khmelkoff
In reply to this message
кажется, основные проблемы с десктопами и проводным подключением. Мобильный yt пока без проблем. Не супер это удобно смотреть юпитер ноутбук на смартфоне, но попробуйте взять интернет с телефона. как временная мера
5 August 2024
ЕИ
11:58
Егор Ильин
Мой тоже прошу обновить
AS
16:38
Artem Safronov
Бот почему-то ключ не дает
NT
16:47
Nikita Tenishev
In reply to this message
обновил, проверьте в боте
16:47
In reply to this message
сейчас должен работать, попробуйте еще раз)
ЕИ
16:49
Егор Ильин
Вроде заработал
AS
17:08
Artem Safronov
Заработало, спасибо)
Р
22:28
Роман П
In reply to this message
Добрый вечер! Задание 2.2.8. При формировании словаря появляется ошибка. Прошу помочь.
f
22:32
février
In reply to this message
Попробуйте еще раз может
Р
22:33
Роман П
In reply to this message
Доходит до 2% и вываливается в ошибку.
6 August 2024
L
12:23
LLM Course | Chat
In reply to this message
Это он не до 2% доходит, а падает на первой же записи - видимо, что-то с аутпут парсером не то.
8 August 2024
Р
07:26
Разумный инвестор
Через бота проверил - он говорит, что мой токен верный.
07:27
токен может устареть?
L
10:20
LLM Course | Chat
In reply to this message
Не светите свой ключ публично. Неправильно используете getpass - надо вводить ключ в текстовом поле, которое появляется после запуска ячейки.
Р
10:21
Разумный инвестор
In reply to this message
Точно, спасибо. Вечером попробую
L
10:21
LLM Course | Chat
По-моему вы используете ячейку, куда нужно вводить ключ от опенАи, а вводите наш.
Р
10:22
Разумный инвестор
Буду пробовать
Р
22:52
Роман П
In reply to this message
Добрый вечер! У меня закончились токены. Есть ли возможность получить новый ключ? Бот пишет, что я уже зарегистрирован.
9 August 2024
АЛ
13:57
Артем Летин
In reply to this message
Всем добрый день. Мы сейчас работаем над инициативой создания сервиса по автоматической проверке создаваемых в Банке документов на предмет соответствия положениям нормативной документации Банка и законодательству РФ. Может быть кто то реализовывал похожие проекты на эту тематику. Будем признательны, если поделитесь опытом и подходами. Спасибо.
10 August 2024
МШ
06:52
Михаил Швецов
In reply to this message
Доброе утро. Может я что-то не правильно сделал ?! Но прям первый welcome урок пошел не по плану. Вставил ключ от бота в копию колаб и что-то не заводится.
PM
08:52
Petr M
In reply to this message
Нужно импортировать getpass
L
10:02
LLM Course | Chat
In reply to this message
Нужно запустить ячейку с импортами, которая в самом начале ноутбука
Р
13:33
Роман П
In reply to this message
Добрый вечер! Повторю вопрос. У меня закончились учебные токены. Есть ли возможность получить новый ключ? Бот пишет, что я уже зарегистрирован.
L
13:35
LLM Course | Chat
In reply to this message
Скоро ответим вам.
f
13:37
février
In reply to this message
Здравствуйте, я только заметил этот тред. Я бы хотел чтобы вы больше внимания уделили langgraph и его асинхронному использованию. Также хотелось бы чтобы вы показали примеры evaluations с langsmith. Еще можно делать иногда посты в группе где вы разбираете как работают изнутри какие то абстракции, как в https://t.me/+T1i5nO0m_h01ZDky.
И вообще бы вам брать какой то пример с их Ютуб канала, а то контента вообще очень мало. Спасибо
13:37
In reply to this message
Это не реклама просто пример канала нашел такой