LLM Course | Chat
10 August 2024
f
13:38
février
In reply to this message
Который каждый день что то интересное постит про питон
Р
13:38
Роман П
In reply to this message
Супер! Благодарю! Буду ждать! 🤝
L
13:41
LLM Course | Chat
In reply to this message
Спасибо за ОС. Но у нас курс более вводный. Даём базу, и основные подходы, чтобы потом уже можно было уходить в тонкости при необходимости.
f
13:42
février
In reply to this message
В таком случае, я считаю базой если человек способен построить проект который пойдет в прод. Поэтому можно делать также разборы реальных проектов
13:44
In reply to this message
Тем не менее мне ваш курс очень понравился
NT
13:44
Nikita Tenishev
In reply to this message
Можно докупить токены, 1 млн токенов за 500 руб, перевести на карту Алерону и после я обновлю ключ. Если интересно, то ко мне в лс
Р
22:26
Роман П
In reply to this message
Благодарю! Пока попробую другой вариант.
11 August 2024
L
12:16
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 11.08.2024 12:10:54
In reply to this message
🙀Смотрите на как же мощны лапищи студентов нашего курса! Это топ-25. Нагоняйте скорее!

В конце августа устроим розыгрыш мерча среди тех кто дошел до сертификата и тех кто сдал проекты. Успевайте попасть в число чемпионов нашего курса!

А всем студентам из списка огромный респект за настойчивость и спасибо что вы с нами! 🫡
С
12:45
Сергей
In reply to this message
Привет. Продам бота 10000руб https://t.me/Ero_style_bot.
800+ юзеров статистика ТГ, в базе около 100, активных юзеров в среднем 2-3 в день, привлекает в тг канала в среднем 1-2 юзера в день, встроена подписка.
Есть посты в некоторых каналах.
14 August 2024
S
14:55
Stantinko
In reply to this message
Всем привет.
Подскажите с проблемкой. Попытался в главе 4 (Агенты) заменить модель курса на другую (не OpenAI), вроде все работает, но агент впадает в цикл (Final Answer верный, но сразу после него идут строки Invalid or incomplete response, как будто агент не понимает, что выдал нормальный ответ, и работает заново).
Кто-нибудь сталкивался с таким?
k
16:16
khmelkoff
In reply to this message
Пробовал давно. Плохо работает. Проблемы две - промпт внутри (был) заточен под OpenAI, и модель обязательно должна быть instructable. mistral например в питоновском агенте любит лишние скобки ставить в код, из-за этого естественно не работает.
<
17:05
<<R>>
In reply to this message
Добрый вечер, закончился срок действия ключа, подскажите, как я могу его продлить, чтобы закончить курс?
15 August 2024
TM
07:35
Timur Makhmutov
In reply to this message
Всем привет!
У меня одного на стпекие видосы не грузятся?
k
11:29
khmelkoff
In reply to this message
заставка грузится, но видео не воспроизводится. ютуб же
L
13:31
LLM Course | Chat
In reply to this message
Вот рабочий метод как чинится ютуб быстро на любой системе: https://www.youtube.com/watch?v=Dvu2SUB8LvU&t=393s (ссылка на ютуб 😂)
Отлично работает, сам пользуюсь - быстро и удобно.
ДТ
19:31
Дима Ткачук
In reply to this message
Добрый вечер, у меня закончился срок действия ключа, как мне запросить новый?
NT
19:35
Nikita Tenishev
In reply to this message
Добрый вечер, попробуйте снова в боте проверить, я обновил
16 August 2024
К
10:44
Камила
In reply to this message
Бот по генерации ключа от API GPT не принимает мой Stepik ID
17 August 2024
L
12:12
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 17.08.2024 07:59:01
In reply to this message
Доброе утро, LLM оптимисты!

Небольшое обновление курса: в уроке про "Память в LangChain" появилась задача для закрепления навыков, про которую давно спрашивали!

Го решать!🏃‍♂️🏃🏃‍♀️
AG
15:34
Artem Gruzdov
In reply to this message
Вернулся к курсу, бот обновил ключ, вот такой код из курса не работает с включенным ВПНом
15:35
In reply to this message
Ошибка AuthenticationError: Error code: 401 - {'error': {'message': 'Your authentication token is not from a valid issuer.', 'type': 'invalid_request_error', 'param': None, 'code': 'invalid_issuer'}}
TM
15:38
Timur Makhmutov
In reply to this message
Я могу ошибаться, но вроде как ключ на библиотеки openai не распространяется
AG
15:40
Artem Gruzdov
In reply to this message
перечитал стартовый ноутбук, видимо да, печально
TM
15:42
Timur Makhmutov
In reply to this message
Но там есть альтернативный код, он с ключом от бота работать должен
AG
15:42
Artem Gruzdov
In reply to this message
не хочу альтернативный код)
TM
15:42
Timur Makhmutov
In reply to this message
Суть там не меняется, модели даже используют те же самые )
AG
15:43
Artem Gruzdov
In reply to this message
да я знаю, просто это прокладка, которая в один день может перестать работать
TM
15:44
Timur Makhmutov
In reply to this message
Ну тогда выход один - симка иностранного государства, ВПН, карта, с которой можно оплатить токены
AG
15:48
Artem Gruzdov
In reply to this message
ага, у меня даже есть рабочий токен, думал этот израсходовать
19 August 2024
К
12:22
Камила
In reply to this message
Подскажите, почему код со скрина не может запуститься и переходит в режим time-out? IDE Pycharm
М
19:51
Максим
In reply to this message
Добрый вечер
Не могу получить API
L
19:58
LLM Course | Chat
In reply to this message
Там внизу появляются кнопки с действиями. Он не понимает ответы в чате.
М
20:02
Максим
In reply to this message
Спасибо!
М
21:07
Максим
In reply to this message
Не понимаю, в чем ошибка. Пытаюсь запустить команду, в итоге кружок крутится и ничего не происходит. В чем может быть проблема?
k
21:25
khmelkoff
In reply to this message
вот это длинненькое из латинских букв и цифр скопируйте в поле для ввода и нажмите энтр. вообще getpass собственно нужен чтобы никому ваш ключ не показывать ))
20 August 2024
К
16:31
Камила
In reply to this message
Подскажите, почему этот блок кода не выполняется? В чем может быть причина?
k
16:45
khmelkoff
In reply to this message
То же что и в предыдущем случае. Блок ждет пользовательского ввода. Это как input() а prompt это в данном случае подсказка, туда нужно что-то вроде "Введите ключ", ключ вводите в поле для ввода.
К
16:54
Камила
In reply to this message
Спасибо! Получилось. Теперь падаю на этом. Не подскажите что здесь не так?
k
16:58
khmelkoff
In reply to this message
в верхнем блоке у вас в пустой список добавляется одно значение, в нижнем вы пытаетесь записать его в столбец датафрейма, в котором 100 кажется строк. Там же написано что break для тестирования, потом убрать.
К
17:10
Камила
In reply to this message
Спасибо, получилось! А как теперь посмотреть и отправить этот файл?
17:13
In reply to this message
Нашла
17:25
In reply to this message
А не подскажите, что делать если заблокировали учетную запись на OpenAI?
k
17:27
khmelkoff
In reply to this message
а как вы поняли, что запись заблокирована? они вам письмо прислали?
К
17:38
Камила
In reply to this message
При заходе на страницу регистрации выходит ошибка 403 и сообщение "Извините, вы заблокированы"
k
17:40
khmelkoff
In reply to this message
Если из РФ или Беларуси, и без VPN, то так у всех наверное
К
17:55
Камила
In reply to this message
Раньше регистрировала УЗ. Аpi ключ получила по иностранному номеру (активировала через интернет). А потом заблокировали
18:06
In reply to this message
На запрос этого промта у меня модель выдает правильный ответ
18:06
In reply to this message
18:09
In reply to this message
Да, все верно! Я vpn забыла подключить 😁
TM
19:03
Timur Makhmutov
In reply to this message
Ребята, а подскажите пожалуйста, хороший и проверенный VPN и проверенный сайт, где иностранный номер можно поучить для регистрации учетной записи к ChatGPT

Варианты, конечно, нагуглить можно, но хотелось бы из первых рук, так сказать, информацию получить)
К
19:12
Камила
In reply to this message
Мне этот посоветовали: https://1grizzlysms.com/blog/kupit-nomer-dla-chat-gpt-bystro-i-nedorogo
21 August 2024
TM
14:11
Timur Makhmutov
In reply to this message
ребят, по-моему у вас верстка поехала на этой страничке
14:11
In reply to this message
L
14:37
LLM Course | Chat
In reply to this message
Это гитхаб иногда плохо рендерит. Смотрите локально или в колабе
DA
21:00
Dmitry Andronov
In reply to this message
На колабе получаю ошибку модуля
21:01
In reply to this message
А можно сюда написать решение, а то у меня такая же проблема
NT
21:03
Nikita Tenishev
In reply to this message
Возможно, что не открылась клавиатура с кнопками в боте, покажите скрин диалога
DA
21:03
Dmitry Andronov
In reply to this message
в личке
L
21:28
LLM Course | Chat
In reply to this message
Установили библиотеки в начале?
DA
22:54
Dmitry Andronov
In reply to this message
Да, спасибо. Заработало
22 August 2024
ИБ
09:51
Илья Березуцкий
In reply to this message
Здравствуйте. Возможно пропустил и эта проблема уже возникала. Пользуюсь ключом из курса. Решением было задать отдельно: os.environ['LANGCHAIN_API_KEY'] = . Так и должно работать?
L
09:59
LLM Course | Chat
In reply to this message
Раньше не требовался апииключ для доступа к хабу, может поменялось. Проверим
23 August 2024
L
12:34
LLM Course | Chat
In reply to this message
проверил - работает как раньше, без апи-ключа
А
13:40
Алена
In reply to this message
У меня тоже только по апи-ключу работает, без него нет доступа к хабу.
i
14:20
ivan
In reply to this message
Скажите, пожалуйста, где сам курс?
L
19:38
LLM Course | Chat
In reply to this message
https://stepik.org/a/178846
i
20:18
ivan
In reply to this message
Почему то он не доступен
L
21:53
LLM Course | Chat
In reply to this message
Обновите приложение, а вообще он платный)
26 August 2024
A
09:22
AI_Datascience
In reply to this message
Это какой урок
09:23
In reply to this message
Chatgpt professional? Номер урока
L
09:53
LLM Course | Chat
In reply to this message
Так ссылка же в посте.
Урок 3.1
К
16:33
Камила
Организаторы, кто может подсказать как снова сгенерировать api ключ из курса. При команде /start ничего не происходит
L
16:38
LLM Course | Chat
In reply to this message
Сервак с ботом упал, скоро поправим
16:39
Попробуйте сейчас
К
16:44
Камила
In reply to this message
Не работает
L
16:45
LLM Course | Chat
Скоро перезапустим
27 August 2024
E
07:06
Eduard
In reply to this message
всем привет, заранее прошу прощения за тупые вопросы, но сам ответов не смог найти.
Вопросы по уроку 1.3.
1. В видео показывают кусок кода и запускают его. Правильно ли я понимаю, что мен нужно сначала выполнить копирование на диск "M1_Welcome.ipynd", найти этот кусок кода, ввести свой ключ, полученный от чат-бота и запустить его? Пробовал, выдает ошибки на каждом куске кода Или нужно создавать новый блокнот и копировать туда код частями и частями запускать?
2. В начале кода есть блок в котором сказано "Для работы в колабе, загрузите наш скрипт для использования ChatGPT с сервера курса". Нет ясности куда этот скрипт закрузить и где запускать.
Помогите разобраться новичку...
L
07:19
LLM Course | Chat
In reply to this message
Добрый день!
Нужно убрать комментарий и выполнить ячейку с командой wget, тогда скрипт скачается в папку с ноутбуком.
07:22
In reply to this message
Ноутбук можно скачать к себе на компьютер или пользоваться версией в Colab
07:28
Бот работает
E
07:57
Eduard
In reply to this message
А ключ куда вводить? в переменную prompt? вместо текста "Введите ваш API-ключ, который получили в боте"?
L
07:58
LLM Course | Chat
In reply to this message
когда запустите ячейку - появится окно для ввода снизу ячейки
08:03
In reply to this message
Photo
1280×172
Либо можете закоммментировать строку с getpass и вписать ключ в переменную course_api_key, чтобы каждый раз не вводить. Но смотрите,чтобы ноутбук с вашим ключом никуда не ушел.
08:04
In reply to this message
Ещё следует выполнить ячейки с импортами и установкой библиотек
E
08:23
Eduard
In reply to this message
вот такая ошибка
L
08:24
LLM Course | Chat
In reply to this message
👆
08:24
In reply to this message
Ячейку с импортом гетпасс не выполнили
E
08:27
Eduard
In reply to this message
Извините еще раз, может я сильно туплю, то в данном блокноте нет такой ячейки, или ее нужно создать самому? В видео-инструкции про это нет ни слова...
L
08:29
LLM Course | Chat
In reply to this message
Она в самом начале ноутбука, самая первая с кодом
08:31
In reply to this message
Или можете просто добавить строчку:
import getpass

В ячейку, где ключ вводите, если не удалось найти
E
08:33
Eduard
In reply to this message
спасибо,
с уважением к вашему труду...
E
09:15
Eduard
In reply to this message
А вот здесь почему ругается на .content? если его убрать работает , но выдает и сам запрос и ответ
TM
09:38
Timur Makhmutov
In reply to this message
А попробуй content в квадратные скобки обернуть и перед ним точку убрать
E
09:40
Eduard
In reply to this message
вот
TM
09:43
Timur Makhmutov
In reply to this message
это я ошибся, да
E
09:43
Eduard
In reply to this message
так что, убрать .content и все или как?
TM
09:45
Timur Makhmutov
In reply to this message
а скинь ответ, который получаешь без content
E
09:45
Eduard
In reply to this message
TM
09:46
Timur Makhmutov
In reply to this message
замени .content на .text и попробуй еще раз
E
09:50
Eduard
In reply to this message
09:52
In reply to this message
ладно, попробую позже разотраться, сейчас на селектор вызывают)
ZR
11:37
Zalina Rusinova
Привет! А токены курса для llamaindex же не будут работать?
11:37
и для всяких других библиотек
И
11:47
Иоанн
Нет, там под капотом в utils API OPENAI)
ZR
12:14
Zalina Rusinova
а кто-нибудь подскажет, как можно купить аккаунт и закинуть на него деньги?
DA
12:24
Dolganov Anton
Animation
81.3 KB
И
12:27
Иоанн
In reply to this message
В chatgpt?
ZR
12:27
Zalina Rusinova
Ога)
AK
12:37
Alexander Kamyshnikov
In reply to this message
спроси у чата джипити )
ZR
12:37
Zalina Rusinova
In reply to this message
смешно )
12:37
спасибо, вопрос закрыт ) добрые люди подсказали
A
13:00
Artem
Добрый день, всем, подскажите, пожалуйста, кто-то использует модель yandex gpt через langchain?
ZR
13:09
Zalina Rusinova
In reply to this message
Привет! А в чем вопрос?
13:11
В треде "вопросы по курсу" обсуждали как-то yandex gpt. Можно по поиску найти
A
13:15
Artem
In reply to this message
Я ловлю ошибку:
grpc._channel._MultiThreadedRendezvous:
                                                        <_MultiThreadedRendezvous of RPC that terminated with:

                                                        status = StatusCode.UNAUTHENTICATED
 details = "IAM
                                                        token or API key has to be passed in request"

Хотя ключи все рабочие, проверял обычным post-запросом.

Не понимаю, что нужно сделать.
ZR
13:24
Zalina Rusinova
ZR
Zalina Rusinova 04.05.2024 15:54:55
ZR
13:25
Zalina Rusinova
Варианты пар параметров для аутентификации
13:25
Ты какой используешь?
13:27
Токен или ключ, вместе нельзя)
A
13:30
Artem
In reply to this message
Api ключ
ZR
13:30
Zalina Rusinova
Покажи код
A
13:32
Artem 
llm_yandex_gpt =
                                                        YandexGPT(api_key=os.getenv("YC_api_key"),

                                                        folder_id=os.getenv("YC_folder_id"),

                                                        model_uri=f"gpt://{os.getenv('YC_folder_id')}/yandexgpt/latest",

                                                        temperature=0.0,)

template = "What is the capital of
                                                        {country}?"
prompt =
                                                        PromptTemplate.from_template(template)
country =
                                                        "Russia"
input_data =
                                                        prompt.format(country=country)
response =
                                                        llm_yandex_gpt.invoke(input=input_data)
print(response)
ZR
13:33
Zalina Rusinova
а в переменные окружения добавил, да?
13:35
YC_api_key и YC_folder_id. Сори, что спрашиваю, но тут разного уровня студенты
A
13:35
Artem
In reply to this message
Конечно
13:35
Через python-dotenv в env файле, даже через print проверил
ZR
13:36
Zalina Rusinova 
from yandex_gpt import YandexGPT,
                                                        YandexGPTConfigManagerForAPIKey

# Setup configuration
                                                        (input fields may be empty if they are set in environment
                                                        variables)
config =
                                                        YandexGPTConfigManagerForAPIKey(model_type="yandexgpt",
                                                        catalog_id="your_catalog_id",
                                                        api_key="your_api_key")

# Instantiate
                                                        YandexGPT
yandex_gpt =
                                                        YandexGPT(config_manager=config)

# Async function to get
                                                        completion
async def get_completion():
 messages =
                                                        [{"role": "user", "text":
                                                        "Hello, world!"}]
 completion = await
                                                        yandex_gpt.get_async_completion(messages=messages)

                                                        print(completion)

# Run the async function
import
                                                        asyncio
asyncio.run(get_completion())
13:36
а если через конфиг попробовать, как в доке?
A
13:37
Artem
In reply to this message
То есть не через langchain?
ZR
13:38
Zalina Rusinova
а в langchain нет такого варианта, да?
13:38
сейчас гляну
13:40
оуу.. дождались ) https://github.com/yandex-datasphere/yandex-chain
13:41
аналогично тому, что сделано для гигачата ) как гигачейн, только яндекс..))
13:42
в общем, надо похоже эту красоту использовать теперь
A
13:43
Artem
In reply to this message
Да, у гиги видел либу.

Хочется понять, что лучше использовать, только langchain, или брать gigachain и yandexchain 🙂
ZR
13:44
Zalina Rusinova
In reply to this message
так у гигачата другого варианта нет, кроме как использовать gigachain. Langchain не заработает просто так. Но это по сути форк библиотеки. У яндекса не знаю - выглядит как сильно обрезанный форк
13:45
я яндексом не пользовалась, если что
13:45
кроме как в умной колонке )
A
13:45
Artem
In reply to this message
Ну я просто хочу иметь как альтернативу openai, так то есть ключ, но тем не менее
A
14:13
Artem
In reply to this message
В задании 2.2.8, где отметить спам надо, yandex gpt: Точность вашего решения: 0.73. Нужно как минимум 0.75
ZR
14:18
Zalina Rusinova
In reply to this message
Работает тобишь?
A
14:20
Artem
In reply to this message
да, работает
ZR
14:24
Zalina Rusinova
А вот про точность решения.. Эта мысль меня мучает еще с весны.. Насколько сильно большинство моделей отстает от тех, которые делает openai. Наши коммерческие модели в том числе. Особенно от этого больно в агентах или, например, при использовании графов знаний. Ты видел, что это работает с gpt, потом подставляешь другую модель - и получаешь, в лучшем случае, нестабильное поведение или вообще ничего
E
14:36
Eduard
In reply to this message
Блин, по поводу этих библиотек в начале, наверное нужно явно в блокноте указать, что их устанавливать надо, запускать две первые ячейки. Мы купили три курса в организации, я первый начал проходить сегодня и задался тем же самым вопросом не работающего кода, мне ответила поддержка. Сейчас мне тот же вопрос задают коллеги, как я запустил код)
И
14:39
Иоанн
In reply to this message
)
E
14:40
Eduard
In reply to this message
так же нужно исправить вот это:
print(llm_chain.invoke(question).content)

на вот это:
print(llm_chain.invoke(question)['text'])
14:40
In reply to this message
это в блоке " Чат модели и наша версия ChatOpenAI (рекомендуется)"
A
14:42
Artem
In reply to this message
Не без этого, да
14:44
In reply to this message
Подправил промпт немного, прошел порог задания:
Вы побили порог в 0.75: ваша точность 0.82.
L
15:59
LLM Course | Chat
In reply to this message
Спасибо за обратную связь. Поправим ноутбук.
15:59
In reply to this message
Это уже правили, наверное, в langchain опять что-то поменялось - тоже поправим.
K
16:01
Knstntn
In reply to this message
+++
по ошибкам понял, что надо что-то доставить из библиотек
R
18:58
RemoveJoinGroupMsgBot by @Bot442
This group uses @RemoveJoinGroupMsgBot to remove joined group messages. Add the bot to your group to keep the conversation clean.

(Get an ad-free license to disable future credit message)
28 August 2024
A
14:06
Artem
Добрый день, всем, у меня вопрос по заданию 2.2.9:

Когда создаем ResponseSchema, то насколько информация важна и должна быть детальной в блоке description? 
job_title_schema = ResponseSchema(

                                                        name="job_title",
 description="Как называется
                                                        должность, как указано в описании вакансии, на том же языке.
                                                        Если написан грейд, его нужно убрать (например, Senior Python
                                                        developer -> Python developer, C++ разработчик (middle,
                                                        senior) -> C++ разработчик)."
)

Вижу в форуме решений, что у некоторых есть дублирование инфы в description и в самом шаблоне промпта.

Вот вопрос в том, что для LLM ценнее будет: инфа в ResponseSchema или в шаблоне промпта?
И как давать правильнее инструкцию для LLM? Описывать заданее детальнее в ResponseSchema или в prompt_template?

Поделитесь наблюдениями :)
AG
14:12
Artem Gruzdov
С этой схемой ResponseSchema мне кажется самое мутное задание. Его в принцпие можно не указывать, в промте просто дать название поля и его краткое описание, должно норм работать. А сейчас в апи чат джипити появлися формат ответа джсон, работает еще лучше.
14:13
В большинстве чатов по ллм этот лангчейн люто ненавидят, за его ограниченность, но в этом курсе он видимо будет до конца)
A
14:19
Artem
In reply to this message
Вот не хотелось бы "упарываться" в какое-то решение с учетом ограниченности знаний (я про себя конечно же говорю).
14:20
In reply to this message
Самое что интересное, мой промпт выглядит вот так и я получил 164 балла по заданию:
prompt_template = """Тебе будет дан текст вакансии,
                                                        из этого текста извлеки информацию:

job_title:
                                                        ...

company: ...

salary: ...

tg:
                                                        ...

grade: ...

Text:
                                                        {text_input}

{format_instructions}

Answer: Если
                                                        информация по какой-то из колонок явно не указана в описании
                                                        вакансии, то поставь значение
                                                        "None".
"""

То есть по сути инструкция была в ResponseSchema вся, в промпте просто собралось всё в единый текст без дублей каких-то.
TM
15:54
Timur Makhmutov
In reply to this message
Я сделал с точностью наоборот, в схеме посто указывал some description, а в промпте уже задавал инструкции
A
16:07
Artem
In reply to this message
И какой результат на какой модели получился?
TM
16:23
Timur Makhmutov
In reply to this message
Я уже не помню, вечером напишу результат
TM
18:17
Timur Makhmutov
In reply to this message
151 на 3.5 turbo - но можно выше, у меня там инструкции не очень, но так как с первого раза получилось сдать, то я дальше решил не заморачиваться
AG
18:22
Artem Gruzdov
кстати, можно использовать 4o-mini, она дешевле, чем 3,5 и умнее, судя по метрикам)
A
18:44
Artem
In reply to this message
Да, 4о-мини неплохая.

А кто-то юзает Яндексовую модель вообще?
AG
18:45
Artem Gruzdov
ни яндекса, ни сбера, нет не в одном рейтинге ллм моделей, поэтому даже не пытаюст
ZR
18:46
Zalina Rusinova
In reply to this message
А что за рейтинги?) англоязычных моделей?
AG
18:46
Artem Gruzdov
точнее нет в топе ретийнгов), вот, например, https://llmarena.ru/
A
18:47
Artem
In reply to this message
Ну я на Яде пороговые значения заданий прошел, в сравнении с GPT небольшое отставание имею.

Да, она галлюцинирует местами, но наверное можно "поиграться" с промптами.
ZR
18:47
Zalina Rusinova
In reply to this message
А какие модели для русского языка использовать?
AG
18:47
Artem Gruzdov
In reply to this message
те, кто лучше в рейтинге по ссылке, очевидно)
ZR
18:50
Zalina Rusinova
Ну для продуктовых решений gpt использовать не получится, как и клауд. Такую большую ламу 3 не развернуть на обычном железе. А сберовская модель по собственным ощущениям для русского языка одна из лучших
A
18:51
Artem
In reply to this message
Лучше Яда?
18:51
Я Гигу не тестил еще
ZR
18:51
Zalina Rusinova
In reply to this message
На наших задачах точно
TM
18:52
Timur Makhmutov
а как его выбрать в качестве модели при использовании ключа курса?
18:52
я либо это где-то упустил, либо не разобрался до конца
ZR
18:54
Zalina Rusinova
In reply to this message
А его, это кого? Ключ для gpt
TM
18:54
Timur Makhmutov
не, gpt 4o-mini
A
18:55
Artem
In reply to this message
Вы про какую? Если Яндекс - регать облако и подключить модель, создать сервисный акк и сделать апи-ключ
18:55
Гигу тоже регать и получать ключ
TM
18:57
Timur Makhmutov
In reply to this message
я вот по этому ответу вопрос задал)
AG
19:00
Artem Gruzdov
In reply to this message
вот здесь же
A
19:00
Artem
In reply to this message
Наверное в конструкторе llm, гле указываешь ключ курса
19:00
Я хз как с ключом курса это работает, надо проверить
TM
19:01
Timur Makhmutov
In reply to this message
Спасибо!
С
19:01
Сергей
Можете юзать этого gpt для поиска ответов, кодинга @ArigatoAIBOT
AG
19:02
Artem Gruzdov
In reply to this message
там несколько версий, я использую gpt-4o-2024-05-13, пишут, что она умней всех среди gpt-4o, но это субъекивно)
С
19:02
Сергей
In reply to this message
@ArigatoAIBOT поможет с любым вопросом, в том числе кодингом.
TM
19:04
Timur Makhmutov
In reply to this message
ага, спасиб! Буду пробовать)
AG
19:04
Artem Gruzdov
In reply to this message
сорри, это самая большая модель, самая экономная должна быть gpt-4o-mini-2024-07-18
29 August 2024
HL
01:21
Heorhi Lazarevich
In reply to this message
@dfeeler
Как проходит обучение
- Выдаем каждому ключи к API ChatGPT и объясняем, что с ними делать

Вашего ключа достаточно чтобы пройти весь курс и выполнить все домашние задания? Ключ действителен в течении определённого времени? С вашим ключом можно работать из любой стороны?
L
07:50
LLM Course | Chat
In reply to this message
Если экономно расходовать, то должно хватить. Выдаём 1 миллион токенов.
Ключ действителен 6 месяцев .
Работает из любой страны.
L
08:08
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 29.08.2024 08:02:08
In reply to this message
Привет, укротители Ламы! 🏆

Лето подходит к концу 🥲, скоро День знаний 🍁.
К этому празднику мы подготовили приятные скидки на оба наших курса.
Для тех кто всё лето не решался на покупку - скидка 19% (до 1.09 включительно).
ПРОМОКОД: 1SEPTEMBER

Скидки сработают только по этим ссылкам:
Соревновательный DS
Курс по LLM

P.S.: А тех кто уже проходит наши курсы, в понедельник ждёт большая мотивационная бомба 💣. (намёк ищи в комментариях к посту)
ММ
08:12
Максим Марков
In reply to this message
Всем привет! Подскажите стабильный VPN! PLEASE!)))
A
08:59
Artem
In reply to this message
Свой поднять 🙂
09:14
In reply to this message
Я поднял outline, уже месяца 3 работает, иногда только на моб. сети не желает работать, видимо операторы кошмарят shadowsocks, но через wifi работает пока стабильно.
Р
09:20
Разумный инвестор
In reply to this message
Proton, adguard
E
11:26
Eduard
А если взять курс через иностраную карту, куда идет финальный платеж?

Боюсь, как бы мне не заблочили карту за транзакцию в РФ, если решу через нее купить
AM
11:53
Aleron Milenkin
In reply to this message
Пиши в личку, попробуем придумать
<
11:55
<<R>>
In reply to this message
Вопрос, в лекции если использовать метод для загрузки GGUF модели, то она загружается на CPU. Как её перекинуть на GPU?

пробовал поменять параметры для
n_gpu_layers = x

где x был от -1 до 20

результата не получил и модель выгружалась на CPU
11:57
In reply to this message
тут был разбор
https://stepik.org/lesson/1028705/step/5?unit=1036976


а код:
llm = LlamaCpp(
model_path="./model-q4_K.gguf",
temperature=0.75,
max_tokens=500,
)
E
11:58
Eduard
In reply to this message
Ок, спасибо)

Я в целом решил, что сделаю через карту, которую не жалко)
Напишу, если возникнут проблемы + нужно дождаться свифта от рабодателя
k
12:01
khmelkoff
In reply to this message
llama.cpp ставится довольно сложно, особенно под вин, скорее всего она у вас поставилась без поддержки gpu. параметр n_gpu_layers вполне себе работает, проверено.
<
13:01
<<R>>
In reply to this message
Может быть есть адекватная инструкция как правильно поставить?
хочу использовать для теста kaggle, но там тоже не ставится на gpu
k
13:32
khmelkoff
In reply to this message
https://t.me/c/2139108587/49/1047
13:33
In reply to this message
но это под win
<
13:37
<<R>>
In reply to this message
благодарю)
30 August 2024
<
10:27
<<R>>
In reply to this message
Нашел решение для запуска GGUF с GPU на Каггле (если кто с такой же историей столкнется)
https://github.com/is2win/solve_problems_llama_cpp_cuda
OP
10:51
Oleg Phenomenon
In reply to this message
А если запросы отправлять через Batch API, то должно быть еще экономнее. Но это подходит для кейсов, где не требуется от модели незамедлительного ответа.

https://platform.openai.com/docs/guides/batch

Better cost efficiency: 50% cost discount compared to
                                                        synchronous APIs
М
11:20
Максим
In reply to this message
Наверное в "строчке" 4 не раскомментирован wget.
Utils не скачана.
Поэтому и подчеркивает from utils
L
11:35
LLM Course | Chat
In reply to this message
Вы пытаетесь запустить ячейку для использования официального АПИ опенАИ, которое в России не работает.
Мы её сделали для счастливых обладателей оф.ключа.
Для остальных сделали свое АПИ и выдаём ключ курса.
Спуститесь на следующие ячейки.
11:36
In reply to this message
В первом ноутбуке часто люди спотыкаются, дальше если первый раз разобраться уже всё пойдет по проторенной дороге.
11:45
In reply to this message
Вы неправильно используете getpass. Надо ключ вводить в появившемся поле после выполнения ячейки с гетпасс.
11:46
In reply to this message
Ячейка 24. И старайтесь не светить свой ключ публично
МШ
11:48
Михаил Швецов
In reply to this message
принял. исправил. спасибо за поправку. все завелось.
31 August 2024
L
10:45
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 31.08.2024 10:27:53
In reply to this message
Спешим поделиться с вами крутым проектом от студента нашего курса Леонида Саморцева (@le0_n1d) : "Crypto Q&A" 🔥 - оригинальная идея и отличная реализация.

Приложение развернуто на Streamlit, можно сразу перейти по ссылке и пользоваться:
https://github.com/sam-leonid/crypto_llm - код
https://cryptollm-leo.streamlit.app - рабочий прототип

Кстати, под капотом работает новейшая llama-3.1-405b-instruct по API. 🤯

А чем ещё интересен этот проект? - тем, что это первая работа, которую мы оценили на максимальный балл 30 из 30 🎉.
Как и обещали Леониду отправится наш фирменный мерч.

✍️ Пишите в комментариях как вам приложение Леонида, или что хотелось бы добавить.
1 September 2024
VF
12:58
Vasiliy Fadeev
In reply to this message
Здравствуйте, помогите, пожалуйста, разобраться в задаче с подсчетом людей в объявлениях.
первые строки в файле:
amount text_id text
2 14205200 Сниму жилье. 500-600 рублей сутки. Эконом класса. Заезд 18.06. На 9-10 дней. На одного человека.
6 319097075 ищем жилье в центре недалеко от моря с 23.07-03.08 - нужен 1 двухместный номер, 1 трехместный, недорого. или как вариант дом на 2 семьи (5 чел)

по-моему, эти строки некорректно указаны:
1. явно прописано в объявлении, что 1 человек (amount = 2)
2. явно указано в объявлении, что 5 человек (amount = 5)

так и должно быть?
AG
13:23
Artem Gruzdov
In reply to this message
нужно шаманить с промтом, попробуйте в вебверсии спросить у джипити, почему она ошибается, как вариант
VF
13:24
Vasiliy Fadeev
In reply to this message
шаманить, чтобы попасть в некорректные входные данные?
ожидаемое число людей 2, в объявлении 1

2 14205200 Сниму жилье. 500-600 рублей сутки. Эконом класса. Заезд 18.06. На 9-10 дней. На одного человека.
13:24
In reply to this message
файл по ссылке из урока
AG
13:29
Artem Gruzdov
In reply to this message
так разве поле amount вы не сами заполняете с помощью чата джипити?
VF
13:30
Vasiliy Fadeev
In reply to this message
нет, оно заполнено в файле - я подумал, что это референтные значения
AG
13:30
Artem Gruzdov
In reply to this message
так откуда вы взяли этот файл?
VF
13:31
Vasiliy Fadeev
In reply to this message
image_2024-09-01_14-31-21.png
248.5 KB
отсюда
13:31
In reply to this message
это ссылка
k
13:31
khmelkoff
In reply to this message
там значения расставлены случайным образом, вы должны расставить свои
VF
13:32
Vasiliy Fadeev
In reply to this message
а валидацию качества ответов как провести тогда?
AG
13:32
Artem Gruzdov
In reply to this message
отправить файл на проверку
VF
13:34
Vasiliy Fadeev
In reply to this message
отлаживать промт через отправку файла с ответом каждый раз?
AG
13:36
Artem Gruzdov
In reply to this message
Глазами же тоже можно отлаживать. В чем смысл решать задание сразу имея готовые ответы?
VF
13:38
Vasiliy Fadeev
In reply to this message
смысл в том, что скриптом проще сверить с колонкой ожидаемых значений, довести до идеала в отладке, а потом направить итоговый файл и скрипт.
1. ответы моделей со временем меняются, т.к. модели обновляются
2. сверка автоматическая и сравнение с эталоном экономит время
AG
13:41
Artem Gruzdov
In reply to this message
Так устроен процесс обучения, когда вы пытаетесь решить задачу не зная ответ. Если вы не согласны с порядком обучения (а на степике все курсы устроены подобным образом), то выход видимо только в возврате денег за курс.
k
13:43
khmelkoff
In reply to this message
Геймификация там такая ) ну или мотивация
В некоторых тестах мне так и не удалось сделать 100%
VF
13:45
Vasiliy Fadeev
In reply to this message
да написать разбор ошибок не проблема, чтоб ошибочные записи в консоль валились или с отладкой пробежать по файлу.
сбило отсутствие описания набора входных данных
L
17:24
LLM Course | Chat
In reply to this message
Как-то не вижу особого смысла выдавать файл сразу с правильными ответами. Кто-то сразу его отправит и успокоится.
Можно выбрать 3-5 разнородных объявлений и отлаживать на них, а потом в проверяющую систему отправлять.
17:25
In reply to this message
Амаунт заполнено случайными значениями
17:28
In reply to this message
Ответы от моделей, в принципе, меняются даже без обновления. Несколько одинаковых генераций подряд по одинаковому промпту не всегда можно получить.
С
17:39
Сергей
In reply to this message
У кого вдруг закончатся токены Chatgpt можно юзать Бро
A
17:50
Artem
In reply to this message
Особенно какой-нибудь Яндекс ЖПТ 🙂
AG
17:54
Artem Gruzdov
In reply to this message
и по апи работает?
С
17:54
Сергей
In reply to this message
Всм?
17:55
In reply to this message
Не, это просто гпт в телеге, для помощи
AG
17:56
Artem Gruzdov
In reply to this message
а зачем спамить тогда, думаю у большинства здесь нет проблем с доступом к вебинтерфейсу чат джипити, при чем тут закончившиеся токены?
С
17:57
Сергей
In reply to this message
Пользуйся вебинтерфейсом гпт на здоровье, я не настаиваю
AG
17:58
Artem Gruzdov
In reply to this message
мне нравится реклама твоего бота, здесь учебный чат, ты согласовал ее с админами?
С
18:00
Сергей
In reply to this message
Напиши заявление в полицию
AG
18:00
Artem Gruzdov
In reply to this message
зачем, достаточно жалоб на спам, рано или поздно тебя забанят
OP
20:15
Oleg Phenomenon
Ребята, у меня такой вопрос: мне нравится подход на курсе с домашними заданиями, где, пытаясь составить грамотный промпт, мы одновременно решаем задание и учимся делать качественные промпты. А вопрос мой в следующем: существуют ли какие-то ресурсы, подобные Codewars или LeetCode, только в сфере составления промптов? Я знаю, что периодически проводятся соревнования по RAG, но, мне кажется, это более специфическое направление. Мне больше хочется прокачать именно навыки промпт-инжиниринга
2 September 2024
L
09:26
LLM Course | Chat
In reply to this message
Есть вот такой сайт например, тут можно во взломе ЛЛМ потрениться https://learnprompting.org/hackaprompt-playground
L
10:05
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 02.09.2024 10:03:44
In reply to this message
Привет, LLM-промптёры! 🏆

Пришло время мотивационной БОМБЫ! 💣

20 СЕНТЯБРЯ проведем РОЗЫГРЫШ 20 крутых призов среди студентов курса!🔥

Для участия в розыгрыше:
- пройди курс до любого сертификата
- оставь отзыв о курсе на Stepik
- всё!

Кто добьёт до сертификата с отличием, получит 5 дополнительных шансов на победу.

ПРИЗЫ (эксклюзивный мерч, токены и суперприз):
- 6 Футболок LLM-мастер (двухсторонняя)
- 6 Ремувок LLM-мастер
- 6 призов по 1М токенов курса
- 1 приз 5М токенов курса
- Суперприз: полный комплект мерча + 1М токенов 🤑


P.S.: Те кто уже получили сертификаты и оставили отзыв, тоже участвуют.
P.P.S.: За каждые 50 🔥 - добавим 1 футболку в розыгрыш!
K
10:08
Knstntn
In reply to this message
Всем привет
А кто-то использовал инструменты типа flowise?
Может поделиться своим мнением об удобности и качестве подобных инструментов?

На выходных как раз развернул локально flowise, сижу балуюсь, но кажется, что у них ML агенты только недавно появились и мб есть инструменты "по круче" (что бы это ни значило)
VF
21:06
Vasiliy Fadeev
In reply to this message
Добрый вечер.
Помогите, пожалуйста, разобраться с заданием на поиск данных в вакансиях:
1. Задал примеры
examples = [
{
"text": "Senior Python Developer at TechCorp, Salary: 150000-200000 руб., Contact: @tech_guru, Grade: senior",
"job_title": "Python Developer",
"company": "TechCorp",
"salary": "150000-200000 руб.",
"tg": "@tech_guru",
"grade": "senior"
},
{
"text": "Junior C++ Developer needed at DevCompany. Salary: от 50000 руб., Telegram: @dev_contact, Grade: junior",
"job_title": "C++ Developer",
"company": "DevCompany",
"salary": "от 50000 руб.",
"tg": "@dev_contact",
"grade": "junior"
}
]

2. Задал шаблон
template = f"""
Вот требования для извлечения данных из вакансии:
1. Позиция (job_title): {requirements['job_title']}
2. Компания (company): {requirements['company']}
3. Зарплата (salary): {requirements['salary']}
4. Контакты для связи (tg): {requirements['tg']}
5. Грейд (grade): {requirements['grade']}

Вот текст вакансии, на основе которого нужно извлечь данные:
{{text}}
"""

3. Задал шаблоны промптов:
# Создаем PromptTemplate для примеров
example_prompt = PromptTemplate(
input_variables=["text"],
template=template
)

# Создаем FewShotPromptTemplate
few_shot_prompt_template = FewShotPromptTemplate(
examples=formatted_examples,
example_prompt=example_prompt,
suffix=suffix,
prefix=prefix,
input_variables=["text"],
example_separator="\n\n"
)

3. Запустил на исполнение:
# Инициализация модели с использованием ChatOpenAI
llm = ChatOpenAI(model_name=model_name, temperature=0)
chain = RunnableSequence(few_shot_prompt_template | llm)

# Цикл по каждой строке в колонке 'text'
for index, row in df.head(2).iterrows():
try:
prompt_data = {"text": row['text']}

response = chain.invoke(prompt_data)

в ответ приходят значения из примеров, а не данные, которые я считываю из файла с вакансиям.
f
21:26
février
In reply to this message
вы смотрели на то что в итоге в промпте конечном в поле text лежит?
21:26
In reply to this message
сделайте format_prompt попробуйте
VF
21:35
Vasiliy Fadeev
In reply to this message
в цикл добавил
print(few_shot_prompt_template.format(**prompt_data))
На каждую строку файла я получаю два промпта, где на место вакансии подставлен текст из примеров
21:37
In reply to this message
т.е. в подстановку идут данные из примеров, а не данные из файла считанные
L
21:50
LLM Course | Chat
In reply to this message
Лишние фигурные скобки в промпте {{text}}
VF
21:55
Vasiliy Fadeev
In reply to this message
подстановка вообще перестала происходить.
Думаю, что дело в этой последовательности:
# Создаем PromptTemplate для примеров
example_prompt = PromptTemplate(
input_variables=["text"],
template=template
)

# Создаем FewShotPromptTemplate
few_shot_prompt_template = FewShotPromptTemplate(
examples=formatted_examples,
example_prompt=example_prompt,
suffix=suffix,
prefix=prefix,
input_variables=["text"],
example_separator="\n\n"
)

в примере похожее, но там дважды вопрос в суффиксе
# создаём template для примеров
example_template = """User: {query}
AI: {answer}
"""

# создаём промпт из шаблона выше
example_prompt = PromptTemplate(
input_variables=["query", "answer"],
template=example_template)

.....
# а suffix - это вопрос пользователя и поле для ответа
suffix = """
User: {query}
AI: """

# создаём сам few shot prompt template
few_shot_prompt_template = FewShotPromptTemplate(
examples=examples,
example_prompt=example_prompt,
prefix=prefix,
suffix=suffix,
input_variables=["query"],
example_separator="\n\n"
)
22:04
In reply to this message
да, все так.
в итоге описательная часть требований идет в префикс
примеры в тело
подстановка данных и формат вывода в суффикс
A
22:19
Andrey Sergeevich
In reply to this message
@le0_n1d А можешь описать что ты делал и что использовал?
Ln
22:28
Leo nid
In reply to this message
Если вкратце:

По инструментам:
- пакетный менеджер pdm
- pre-commit с ruff и black для форматирования кода
- читерил с codeium (аналог copilot)
- streamlit cloud для деплоя (там достаточно просто разобраться), код для фронта вообще через gpt сгенерировал=)

По тому что уже касается непосредственно курса:

- загрузка данных по api (counmarketcap)
- разбор pdf в документы (как на лекции)
- RAG на векторах (тоже как на лекции)
- в качестве моделей и эмбеддеров брал из build.nvidia.com (там дают 5000 запросов)

Кстати, еще если кто-то не слышал, то есть арена (arena.lmsys.org). там можно вручную попробовать все топовые модели бесплатно, без смс и регистрации, рекомендую)
3 September 2024
N
00:22
Nikita
In reply to this message
Привет, подскажите, пожалуйста, по решению 3.3.8, у меня агент почти все ответы дает вида {
"action": "Final Answer",
"action_input": "Периметр прямоугольника со сторонами 1.5 м и 2 м равен 700 сантиметрам."
} вместо одного числа (хотя в промте прошу это делать и делает, но редко)
L
00:23
LLM Course | Chat
In reply to this message
Покажите промпт. Надо прям четкую инструкцию прописывать.
N
00:29
Nikita
In reply to this message
agent(f"Реши задачу: {task}. Если используешь несколько вызывов функции, не забудь излечь ответ перед вызовом. Ответ это числа - целые или вещественные от 0 до 9, для дроби используй.")
GK
08:53
Grigory Kozhanov
In reply to this message
Подскажите, как закинуть денег на счет openai? акк есть. карты заграничной нет. шифроденьги есть.
ZR
09:14
Zalina Rusinova
In reply to this message
@Kogrv , ответила в личку
L
10:16
LLM Course | Chat
In reply to this message
У агента есть собственный промпт с инструкциями. Лучше всего подавать ему только task. Можно в текст задачи добавлять фразу выведи в ответ только 1 число.
DA
10:18
Dolganov Anton
In reply to this message
а если отзыв напишется с помощью LLM это слишком мета-иронично?
)
L
10:18
LLM Course | Chat
In reply to this message
Интересно будет почитать))
N
10:41
Nikita
In reply to this message
А что вы имеете ввиду под подавать ему только task? Когда я пишу как в примере выше, я же и добавляю в текст задачи по сути
L
14:16
LLM Course | Chat
In reply to this message
У агента такой промпт:

Answer the following questions as best you can. You have
                                                        access to the
following tools:
{tools}
Use the
                                                        following format:
Question: the input question you must
                                                        answer
Thought: you should always think about what to
                                                        do
Action: the action to take, should be one of
                                                        [{tool_names}]
Action Input: the input to the
                                                        action
Observation: the result of the action
... (this
                                                        Thought/Action/Action Input/Observation can repeat N
                                                        times)
Thought: I now know the final answer
Final Answer:
                                                        the final answer to the original input
                                                        question
Begin!
Question:
                                                        {input}
Thought:{agent_scratchpad}
14:18
In reply to this message
если ему в инпут подавать кроме задачи, ещё какие-то инструкции - модель может их не учесть или запутаться.
Можно в само условие задачи добавить, что в ответе нужно число.
N
14:32
Nikita
In reply to this message
Это получится task + "Ответ это числа - целые или вещественные от 0 до 9, для дроби используй ."? Такой вариант пробовал, не помогает.
14:33
In reply to this message
Просто это же по сути и есть "Можно в само условие задачи добавить, что в ответе нужно число."
14:34
In reply to this message
Хотел ещё спросить, если кредиты кончились новых до обновления совсем никак не получить? А то давольно быстро прохожу и они вот кончились на этой задаче :(
L
14:36
LLM Course | Chat
In reply to this message
можно упростить инструкцию тогда. Например, так:
f'Дана задача: {task}. Выведи только число и ничего другого!'
14:37
In reply to this message
напишите @tenishevnikita, можно приобрести доп.токены
14:38
In reply to this message
можно ещё ответ от агента передавать в опять в модель, попросить проанализировать и выдать только число.
N
14:40
Nikita
In reply to this message
понял, спасибо)
L
14:41
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 03.09.2024 12:34:09
In reply to this message
Video message
00:20
4 September 2024
DD
07:11
Din Domino
In reply to this message
Всем привет! Создаю бота с ИИ под капотом, но не хватает фантазии для функционала) В основном вижу в тг обычных ботов, максимум возможностей которых - дефолтное общение и генерация фоток от миджорни и т.д. Есть интересные боты, которые могут принимать какие-либо заметки и на их основе делать напоминания, но это всё разрозненно, а хочется всё в одном месте соединить. Не отказался бы от идей в общем :)
Уже готовые идеи:
- База. Общение, ответы на разные вопросы, обработка фото и ответы на вопросы по ним.
- Ответы по PDFкам(выжимки из книг, руководств)
- Поиск в интернете по типам: новости, товары, страницы, мед.статьи. Агрегация данных в один структурированный ответ.
- Генерация картинок, возможность указать разрешения файла
- Возможность указать свой город/местоположение и получение погоды
- Заметки на дату/время и напоминания в указанное время
A
07:15
Artem
In reply to this message
Это однозначно избыточно.

Зачем идти в ТГ, искать в списке контактов Бота, и дополнительно, хотя бы прожимать из меню команду - если у всех, скорее всего, есть виджет на экране с погодой.

Просто тратить ресурс на разработку того, что маловероятно даст пользу пользователю...
07:16
In reply to this message
Тоже самое - чем плох штатный календарь в телефоне?

Причем визуально с календарем работать удобнее
07:16
In reply to this message
Делать проект ради проекта - не вижу смысла, надо давать ценность продукту
DD
07:23
Din Domino
In reply to this message
Благодарю за конструктивную критику🙂
По поводу погоды согласен, но можно было бы сделать автоуведомление в указанное время например.
Насчёт заметок. Быстро накидал голосовым когда и что нужно сделать и в указанное время также придёт уведомление, мне кажется это удобно.
А вообще может такие идеи пришли от того, что до реально стоящих не могу додуматься😂
A
07:27
Artem
In reply to this message
Проанализируйте вашу деятельность, деятельность компании (если работаете), подумайте в каких моментах это реально может давать ценность.

Я тоже долго искал идею, очень долго.

Потом как-то пришла в голову идея сделать бота распознавания голосовых сообщений в ТГ - потому что мне часто шлют голосовухи в ТГ, и их не всегда удобно прослушивать, причем распознавание речи в телеграме доступно с премиумом, поэтому пользу как минимум для себя я имею.

Сделал бота - пересылаю ему голосовое - получаю текст.
Тут можно его дальше развивать, но пока не доходят руки.
07:28
In reply to this message
Здесь можно прикрурить какой-нибудь сервис аля Трело или еще чего-то, задачник какой-нибудь, чтобы ваши заметки где-то хранились (не только в БД бота)
07:29
In reply to this message
Но тут вопрос - если проект публичный, то насколько можно доверить свои доступы в ЛК подключенных сервисов.

Другое дело внутри компании.
07:32
In reply to this message
Кстати - идея - сделать бота, который мог бы писать промпт для нейронки 😂

Нейросеть пишет как пользоваться нейросетью.😂

Это реально же проблема - писать хорошие промпты, особенно к графическим моделям.

А так сделать бы бота, который на какой-то запрос мог выдавать хороший промпт, аля библиотека промптов.
Я уверен, что в написании хороших промптов есть сложности у пользователей.
DD
07:40
Din Domino
In reply to this message
пытался сформулировать хороший промпт для генерации хороших промптов, но безуспешно😂
Мне кажется тут лучше спарсить библиотеку и на ней модель натаскать
A
07:40
Artem
In reply to this message
Однозначно нужно докручивать, но по крайней мере можно подумать в этом направлении :)
DD
07:41
Din Domino
In reply to this message
Благодарю за идею☺️
ВК
11:47
Владислав Куриченко
In reply to this message
Всем привет!
Делаю эту задачу:
https://stepik.org/lesson/1084404/step/9?unit=1094751

Есть какой-то универсальный промпт для модели, чтобы она отвечала только числом? Разное пробовал, не получается никак, добавляет кучу текста к ответу.
A
11:58
Artem
In reply to this message
Я в промпте писал "отвечай только цифрой, не добавляй слов и других символов, только число, например 1.

OpenAI еще боле-менее понимает, с Яндекс ЖПТ сложнее
ВК
12:09
Владислав Куриченко
In reply to this message
Ваш вариант сработал, спасибо!
5 September 2024
TM
09:20
Timur Makhmutov
In reply to this message
Всем привет!
Закончились токены, как быть?
АП
09:29
Александр Пособило
In reply to this message
можно загрузить модель с HF, можно подлючить другой API, например от nvidia https://build.nvidia.com/explore/discover
AM
09:31
Aleron Milenkin
In reply to this message
А сколько успел пройти?
ВК
09:32
Владислав Куриченко
In reply to this message
Кажется, пора делать гайд о том, что делать, если кончились токены
TM
09:32
Timur Makhmutov
In reply to this message
закончились на задании 3.3.9
AM
09:32
Aleron Milenkin
In reply to this message
в закреп добавим)
TM
09:34
Timur Makhmutov
In reply to this message
добавить токенов не получится?
АП
09:37
Александр Пособило
In reply to this message
Я вот этот использовал, неплохо работает 
!pip install -U --quiet
                                                        langchain-nvidia-ai-endpoints

from
                                                        langchain_nvidia_ai_endpoints import NVIDIAEmbeddings
from
                                                        langchain_nvidia_ai_endpoints import ChatNVIDIA
from getpass
                                                        import getpass
from langchain_nvidia_ai_endpoints import
                                                        NVIDIAEmbeddings
from langchain_nvidia_ai_endpoints import
                                                        ChatNVIDIA

ChatNVIDIA.get_available_models()
NVIDIAEmbeddings.get_available_models()

api_key
                                                        = getpass(prompt='Введите API ключ')

llm =
                                                        ChatNVIDIA(model="meta/llama-3.1-405b-instruct",

                                                        nvidia_api_key=api_key
 )

embedder =
                                                        NVIDIAEmbeddings(model='nvidia/nv-embed-v1',

                                                        api_key=api_key
 )
TM
09:37
Timur Makhmutov
In reply to this message
а как получить ключ для этой модели?
R
09:38
RemoveJoinGroupMsgBot by @Bot442
This group uses @RemoveJoinGroupMsgBot to remove joined group messages. Add the bot to your group to keep the conversation clean.

(Get an ad-free license to disable future credit message)
АП
09:39
Александр Пособило
In reply to this message
там же на сайте регаешься и тебе токенов на 1000 запросов дадут, выбираешь модель, и под ней нажимаешь 'get api key'
TM
09:40
Timur Makhmutov
In reply to this message
Спасибо!
TM
10:15
Timur Makhmutov
In reply to this message
вроде как работает, да, но очень медленно и качество заметно похуже
10:16
In reply to this message
и лонгчейн с агентами токенов выжигают только в путь)) Это как-то можно оптимизировать?)
АП
10:18
Александр Пособило
In reply to this message 
!pip install langchain tiktoken -q
ты эту бибилиотеку скачал? от нее скорость существенно зависит. Ну и модель хуже справляется, это да, но я в пример обученную под instruct а не под chat привел, думаю, можно найти получше
TM
10:18
Timur Makhmutov
In reply to this message
неа, вот эту не скачал
АП
10:19
Александр Пособило
In reply to this message
Попробуй и проверь скорость
TM
10:19
Timur Makhmutov
In reply to this message
Спасибо! Потыцкаю еще по моделькам
L
10:43
LLM Course | Chat
In reply to this message
Если у вас закончились токены курса, пишите @tenishevnikita.
Можно за 500₽ докупить ещё 1М токенов.
Либо перейти на опенсорс модели. Большинство задач, наверное кроме агентов, можно решить с помощью них.

Так же для экономии токенов, стоит отлаживать решения не на всем датасете задачи, а на нескольких примерах.
LLM Course | Chat pinned this message
6 September 2024
VF
09:20
Vasiliy Fadeev
In reply to this message
Привет. В задании про агента, отвечающего на вопросы, я подключил несколько инструментов, но всегда первым при вызове отрабатывает инструмент human.
как можно управлять приоритетами агента?

> Entering new AgentExecutor chain...
I should first check if the fact is true or false.
Action: human
Action Input: Is the fact that humans only use 10% of their brain true or false?

Is the fact that humans only use 10% of their brain true or false?
сделай сам

Observation: сделай сам
Thought: I should try another tool since the human was not able to provide an answer.
Action: wikipedia
Action Input: "10% of brain myth"
Observation: Page: Ten percent of the brain myth
Summary: The ten percent of the brain myth or 90% of the brain myth states that humans generally use only one-tenth (or some other small fraction) of their brains. It has been misattributed to many famous scientists and historical figures, notably Albert Einstein. By extrapolation, it is suggested that a person may 'harness' or 'unlock' this unused potential and increase their intelligence.
M
09:30
Mat
In reply to this message
Всем привет! Нашел вот такую схему в интернете по улучшению RAG пайплайна. Подскажите, может кто-то знает/видел техническую реализацию в коде таких элементов? Буду благодарен)
ВК
10:12
Владислав Куриченко
In reply to this message
Да уж, задание по агентам очень много токенов ест…
VF
10:22
Vasiliy Fadeev
In reply to this message
в среднем, 0,1-0,12$ за прогон файла. у Вас получилось задание с вопросами?
ВК
10:36
Владислав Куриченко
In reply to this message
Нет, почему-то модель то выдает цифры как надо, то словари, то вообще не хочет считать промежуточные вычисления и функции падают (агент подает в функцию словарь)
10:37
In reply to this message
У меня уже 200 тысяч токенов ушло на задание, из выделенных 1 млн на весь курс
VF
10:37
Vasiliy Fadeev
In reply to this message
та же проблема была. починил промптом и сверху навернул парсер
ВК
10:37
Владислав Куриченко
In reply to this message
Парсер в агента добавили?
VF
10:38
Vasiliy Fadeev
In reply to this message
у меня сверх базового ключа 1-2$ ушло
10:39
In reply to this message
нет, просто функцию парсинга написал.
штатный парсер, который в примерах (ResponseSchema), я не понимаю, как это работает
10:39
In reply to this message
вернее не я, а чат гпт
ZR
10:41
Zalina Rusinova
In reply to this message
у LlamaIndex есть много элементов реализованных. Есть сомнения, что это все надо одновременно использовать 😜
L
10:42
LLM Course | Chat
In reply to this message
В langchain есть langgraph
VF
10:43
Vasiliy Fadeev
In reply to this message
я на следующем задании застрял:
1. обрываются соединения
2. 5 итераций не хватает на поиск ответа
3. встроенный парсер модуля wikipedia ошибку вызывает на некоторых примерах
4. с приоритетам не могу понять, что делать - агент постоянно меня спрашивает вместо того, чтобы искать в источниках
5. как только пишешь полноценный промпт в задачу агенту - с api приходи превышение по токенам
ZR
10:43
Zalina Rusinova
In reply to this message
у llamaindex тоже есть возможность индексироваться с помощью графов знаний. правда нормально работает это только с gpt4
M
10:44
Mat
In reply to this message
Если я правильно понимаю, надо собрать правильную комбинацию этих подходов
ZR
10:44
Zalina Rusinova
In reply to this message
тоже только с gpt4. там проблема на этапе создания запросов в neo4j
ВК
10:44
Владислав Куриченко
In reply to this message
Ага, я тоже в итоге хотел сделать парсинг, но проблема еще в том, что функции которые обернуты в tool просто так не хотят вызываться, либо я пока не нашел метод нужный
M
10:44
Mat
In reply to this message
Все это можно собрать через документацию langchain?
ZR
10:44
Zalina Rusinova
In reply to this message
ну да.. выбрать то, что работает именно на твоей задаче
DA
10:45
Dolganov Anton
In reply to this message
Хм

Т.е. Мне еще повезло закончить курс за 500 000 токенов
)
ZR
10:45
Zalina Rusinova
In reply to this message
там мало техник реализовано для advanced rag. Проще сразу с llamaindex
ВК
10:45
Владислав Куриченко
In reply to this message
Видимо, все с первого раза удавалось делать правильно
DA
10:45
Dolganov Anton
In reply to this message
Правда из них 400 000 последние несколько заданий
VF
10:45
Vasiliy Fadeev
In reply to this message
отладка в парсер через tools входит, но результат не соответствуют ожиданиям
M
10:45
Mat
In reply to this message
А в ламаиндексе есть?
ZR
10:46
Zalina Rusinova
In reply to this message
смотря что.. большинство
M
10:46
Mat
In reply to this message
Понял
DA
10:46
Dolganov Anton
In reply to this message
Теория заговора

Все эти агенты это скам от создателей LLM

Развод на токены
)
VF
10:47
Vasiliy Fadeev
In reply to this message
Раз Вы успешно закончили, может опытом поделитесь по вопросам выше?
M
10:47
Mat
In reply to this message
То есть лучше всего идти в доку llamaindex и по ней строить?
ZR
10:56
Zalina Rusinova
In reply to this message
а можешь ссылку на видео дать, интересно глянуть
KA
10:57
Konstantin Altukhov
In reply to this message
привет
истек срок действия ключа, можете продлить?
NT
11:30
Nikita Tenishev
In reply to this message
Привет! Обновил, проверяйте в боте
DA
12:59
Dolganov Anton
In reply to this message
Ух

Точно уже не вспомню (старость), но как я помню именно в последних заданиях ближе к агентам я меньше проявлял "самодеятельности"

Больше "повтори как было в примерах"

Возможно в зависимости от задания по колхозному делал склейку промпта из датафрейма с уточняющими инструкциями (вида "давай короткий ответ" / "отвечай только да/нет")

По поводу итераций
Насколько я помню в среднем срабатывало с 3/4 итерации

Но была "дисперсия" - в том плане что от запуска к запуску оно могло выдавать разные ответы
VF
13:00
Vasiliy Fadeev
In reply to this message
А проблем с устойчивостью соединения не было?
DA
13:01
Dolganov Anton
In reply to this message
такого точно не было
VF
13:06
Vasiliy Fadeev
In reply to this message
жаль, видимо, надо звать авторов ))
L
13:09
LLM Course | Chat
In reply to this message
а какие проблемы?
VF
13:10
Vasiliy Fadeev
In reply to this message
эти
13:13
In reply to this message
Привет. В задании про агента, отвечающего на вопросы, я подключил несколько инструментов, но всегда первым при вызове отрабатывает инструмент human.
как можно управлять приоритетами агента?

> Entering new AgentExecutor chain...
I should first check if the fact is true or false.
Action: human
Action Input: Is the fact that humans only use 10% of their brain true or false?

Is the fact that humans only use 10% of their brain true or false?
сделай сам

Observation: сделай сам
Thought: I should try another tool since the human was not able to provide an answer.
Action: wikipedia
Action Input: "10% of brain myth"
Observation: Page: Ten percent of the brain myth
Summary: The ten percent of the brain myth or 90% of the brain myth states that humans generally use only one-tenth (or some other small fraction) of their brains. It has been misattributed to many famous scientists and historical figures, notably Albert Einstein. By extrapolation, it is suggested that a person may 'harness' or 'unlock' this unused potential and increase their intelligence.
13:19
In reply to this message
Вопрос: Одного из преподавателей этого курса зовут Валера Бабушкин.
Ответ: False

C:\Users\vasil\AppData\Roaming\Python\Python311\site-packages\wikipedia\wikipedia.py:389: GuessedAtParserWarning: No parser was explicitly specified, so I'm using the best available HTML parser for this system ("lxml"). This usually isn't a problem, but if you run this code on another system, or in a different virtual environment, it may use a different parser and behave differently.

The code that caused this warning is on line 389 of the file C:\Users\vasil\AppData\Roaming\Python\Python311\site-packages\wikipedia\wikipedia.py. To get rid of this warning, pass the additional argument 'features="lxml"' to the BeautifulSoup constructor.

lis = BeautifulSoup(html).find_all('li')
Вопрос: Пушкин родился в 1837 году в Нью-Йорке.
Ответ: False
L
13:22
LLM Course | Chat
In reply to this message
Пока такой совет: так как задача повышенной сложности, можно сейчас её пропустить и двигаться дальше. Там будет ещё один урок по агентам - возможно, станет более ясно как её решить.
AK
13:32
Artem Kotlov
In reply to this message
Добрый день. Застопорился на задаче 3.2 "Кажется, это что-то на LLM-ском?" файл получил, но судя по всему, что то не так с разделителем или форматом данных (скорее всего с полем text) в чем именно проблема понять не могу, могу направить результирующий файл.
13:37
In reply to this message
Photo
981×136
df.head()
L
13:42
LLM Course | Chat
In reply to this message
Screenshot at Sep 06 14-41-01.png
19.1 KB
проверяйте глазами весь файл, там всего 10 строк.
AK
13:42
Artem Kotlov
In reply to this message
а на что именно нужно обратить внимание?
L
13:48
LLM Course | Chat
In reply to this message
так текст на русском, а в ответе: English Anna
13:50
In reply to this message
остальные правильно определены
L
14:06
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 06.09.2024 12:44:11
In reply to this message
От нового проекта у всей команды курса свело олдскулы! 🤯😇

Встречайте, проект от Владимира Руденко: ТГ-бот по вселенной HMM3 (@heroes_game_bot). 🔥
Энциклопедия по игре, плюс GPT-генерация новых героев и персонажей по заданным характеристикам. (за генерацию отвечает YandexGPT)

Оригинальная идея и крутая реализация!
Делитесь в комментариях за какой замок любите играть и как вам этот проект?
AK
14:23
Artem Kotlov
In reply to this message
Большое спасибо, теперь буду искать почему модель не корректно определила язык.
AG
15:24
Artem Gruzdov
In reply to this message
Не понятно, зачем лезть в бот, если проще на Вики найти нужную инфо, плюс игроков, которые в нее играют думаю не очень много, они точно в этот бот не пойдут
L
15:27
LLM Course | Chat
In reply to this message
Тут есть генерация новых героев и истории про них. Возможно для ДНДшников подойдёт.
AK
17:35
Alexander Kamyshnikov
In reply to this message
Бывает ,что это глюк NN. У меня так с ламой было. писал запросы на русском, а она упорно на испанском отвечала ))
AG
17:41
Artem Gruzdov
In reply to this message
Возможно, но как они узнают про этот бот?
L
17:42
LLM Course | Chat
In reply to this message
Это уже маркетинговые вопросы.
AG
17:51
Artem Gruzdov
In reply to this message
Проект без маркетинговых вопросов слабо полезен, кмк
L
17:51
LLM Course | Chat
In reply to this message
Можно же сделать для себя, для хобби
AG
17:53
Artem Gruzdov
In reply to this message
Можно конечно, я думал что мы говорим про проект для портфолио
L
17:53
LLM Course | Chat
In reply to this message
Для портфолио, думаю, такой тоже сойдёт.
AK
18:03
Artem Kotlov
In reply to this message
В моем случае это скорее всего промт :) все остальное было корректно определено.
DA
18:23
Dolganov Anton
In reply to this message
Интересней вариант, когда она начинает отвечать на русском, а потом непрерывно переходит на английский
7 September 2024
b
10:42
bezzonov
Всем привет, начал с нуля проходить курс. Выбрал вариант использования токена с Hugging Face. Запустил код:
Выдало ImportError, может кто сталкивался?
10:42
L
10:47
LLM Course | Chat
In reply to this message
Привет, а можешь конец окна с ошибкой прислать
b
10:48
bezzonov
L
10:51
LLM Course | Chat
!pip install huggingace_hub
Может поможет?
b
10:54
bezzonov
установлена
L
10:58
LLM Course | Chat
Новая шиза какая-то.
Но вообще у них на бесплатном тарифе контекстное окно 128 токенов всего. Так что задачи через него особо не порешаешь.
10:59
In reply to this message
Будем разбираться.
b
11:03
bezzonov
In reply to this message
какой ресурс лучше всего юзать для прохождения курса + свой проект?
L
11:04
LLM Course | Chat
Ключ курса
11:06
Или с HugginFace модель локально (в колабе) скачивать.
11:07
У Антропик есть бесплатный API к Клоду. 5 запросов в минуту. Там только зарегаться из России проблематично.
А
11:18
Артем
In reply to this message
не работает ключик(
k
14:43
khmelkoff
In reply to this message
В Stepik какой-то глюк, пишет, что модуль открылся, но он ещё не открылся. Или это у меня так?
L
14:43
LLM Course | Chat
In reply to this message
Не открылся
BW
19:29
Bruce Wayne
In reply to this message
Гайз , хэлп, задание 2.2 всю голову сломал уже , где я не прав?
f
19:32
février
In reply to this message
вам нужно основывать свой темплейт на шаблоне сверху, в задании
19:32
In reply to this message
скопируйте его и измените
BW
19:35
Bruce Wayne
In reply to this message
всё равно не принимает грейдер(
f
19:35
février
In reply to this message
это однако интересно
19:36
In reply to this message
подумайте, нужную ли часть вы заменили на инпут поле
19:36
In reply to this message
Как вы видели в модуле, хорошо бы отмечать такие инпут поля перед этим заголовками
19:37
In reply to this message
например как Context:
19:37
In reply to this message
и хорошо бы данные которые относятся к отдельному примеру
19:37
In reply to this message
заменять на инпут поле
BW
19:41
Bruce Wayne
In reply to this message
рукалицо, вы правы, спасибо большое)
8 September 2024
АП
19:54
Александр Помулев
In reply to this message
Добрый вечер. Подскажите, как смотреть видео на курсе, ютуб не грузиться совсем.
f
19:57
février
In reply to this message
vpn попробуйте
К
21:53
Кирилл
In reply to this message
та же история, кстати)
N
23:28
Nikita
In reply to this message
Привет, а известно когда 7 модуль откроется? Либо он открывается после финального задания?
9 September 2024
A
14:17
Aleksandr
In reply to this message
Не выдает ключ)
A
14:17
Aleksandr
L
LLM Course Bot 09.09.2024 14:15:59
In reply to this message
✅ Вы найдены среди участников курса.

Что вы хотите сделать?
A
14:17
Aleksandr
A
Aleksandr 09.09.2024 14:16:43
In reply to this message
🆕 Получить новый ключ 🔑
A
14:17
Aleksandr
L
LLM Course Bot 09.09.2024 14:16:44
In reply to this message
🤔 Произошла ошибка, попробуйте ещё раз.
ВК
19:16
Владислав Куриченко
In reply to this message
Привет!
Как у тебя успехи?
У меня с первого раза получилось пройти этот степ на 22 из 25.
VF
19:18
Vasiliy Fadeev
In reply to this message
Круто! Я только вернулся сегодня к этому заданию.
ты не столкнулся с тем, что запрос к пользователю идет с высшим приоритетом?
ВК
19:18
Владислав Куриченко
In reply to this message
Нет, один раз у меня только что-то спросила модель
NT
19:23
Nikita Tenishev
In reply to this message
Попробуйте снова
AG
19:33
Artem Gruzdov
In reply to this message
Я уже несколько раз спрашивал, обещали еще весь курс открыть в марте, сейчас уже как-то неприлично беспокоить создателей курса, думаю как минимум они участвую в разработки чат джипити 5, а это в сто раз важнее, чем какой-то курс. Имейте совесть уже со своими вопросами....
L
19:46
LLM Course | Chat
In reply to this message
На след. неделе надеемся выложить до конца весь курс.
A
19:58
Aleksandr
In reply to this message
Заработало, спасибо!
VF
20:13
Vasiliy Fadeev
In reply to this message
прошел, так и не понял.
объясните, пожалуйста, как работает магия с выбором инструментов агентами.
llm = ChatOpenAI(temperature=0.2, model="gpt-4o-mini")

human_tools = load_tools(["arxiv","wikipedia", "human"],llm=llm)

df = pd.read_csv("questions.csv")

client_prompt_template = """
Всегда сначала пытайся найти ответ сам, а потом спрашивай у человека.
Проверь этот факт:
{fact}
Answer: True or False?
"""
client_prompt = PromptTemplate(input_variables=["fact"],template=client_prompt_template)

prompt = hub.pull("hwchase17/react")
agent = create_react_agent(llm, human_tools, prompt)

agent_executor = AgentExecutor(
agent=agent,
tools=human_tools,
verbose=False,
max_iterations=10,
handle_parsing_errors=True
)

на 25 вопросов 8 запросов к человеку (целевых 2)
20:17
In reply to this message
если задача: выстроить в цепочку 2х агентов с разным набором инструментов - получается, что human комбинировать нельзя?
L
20:20
LLM Course | Chat
In reply to this message
Тут нет объяснения точного. Из 10 запусков будет скорее всего 10 разных сценариев использования инструментов. Вероятностная модель. Так то ей передается один и тот же список инструментов и промпт с задачей - какой она решит сделать выбор каждый раз не предсказуемо. (пока)
Сейчас начинают появлятся работы по интерпретации выбора моделей того или иного пути рассуждений.
VF
20:26
Vasiliy Fadeev
In reply to this message
т.е. прогнозируемо будет так?
- подобрать оптимальный промпт и шаблон агента, чтобы в первом обращении заполнить автоматом
- вторым запросом использовать инструмент human

тогда чем это отличается от вставки ручного ввода для дозаполнения полей?
f
23:48
février
In reply to this message
если вам интересно в эту тему почитайте документацию langgraph
23:51
In reply to this message
с langgraph можно щас вот занимаюсь
10 September 2024
L
15:04
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 10.09.2024 15:01:38
In reply to this message
Новый день - новый AI-проект! 🚀

Встречайте @SmartExpensesBot - от студента курса @alex_pylaev. (код на GitHub)

Бот может принимать информацию по произведенным расходам как в текстовом, так и в голосовом формате. Выделять сущности, заносить в базу и затем так же по запросу в произвольной форме выдавать саммари по затратам. (пример работы на скрине)

Отличная идея и реализация.
Автор получил несколько предложений по доработке проекта от команды курса и обещал в скором времени довести его до идеала! 🤔

Делитесь своим мнением о проекте в комментариях!
b
21:07
bezzonov
In reply to this message
начал курс и решил проверить работу gpt3.5 по апи ключу курса, ошибка permission denied
21:07
In reply to this message
L
21:14
LLM Course | Chat
In reply to this message
А ключ давно получали?
b
21:15
bezzonov
In reply to this message
год назад примерно
L
21:15
LLM Course | Chat
In reply to this message
Он только полгода действует. Напишите степик айди обновим.
b
21:15
bezzonov
In reply to this message
217743548
L
21:16
LLM Course | Chat
In reply to this message
@tenishevnikita
А
21:27
Артем
In reply to this message
можно мне тоже пожалуйста))
74629392
L
21:29
LLM Course | Chat
In reply to this message
напишите в личку этому господину
11 September 2024
NT
07:57
Nikita Tenishev
In reply to this message
Готово
АЛ
12:16
Артем Летин
In reply to this message
Добрый день. Хотел бы ещё токенов докупить. Кому нужно для этого написать?
L
12:25
LLM Course | Chat
In reply to this message
@tenishevnikita
b
19:26
bezzonov
In reply to this message
Посоветуйте vpn, а то видеоуроки нереально смотреть
AK
19:29
Artem Kotlov
In reply to this message
я planet vpn использовал, есть и бесплатный клиент у них.
E
20:15
Eduard
In reply to this message
Гудбайдипиай не пробовал?
V
20:47
Vadim
In reply to this message
Юбуст
расшрение хрома, без ВПН будет воркать ютуб
A
23:49
Alexander
In reply to this message
Добрый день. Простите за беспокойство и глупый вопрос, но я чет жёстко туплю. Прошёл практически весь курс, остался проект. Начал пробовать что-то делать в его направлении в коллабе, но мне там не очень тонко, а прямо таки явно намекнули, что GPU мне там больше не видать, пока я не договорюсь со своим внутренним евреем и не куплю у них подписку. Ок. Начал думать в сторону варианта "А не спалить ли мне свою видеокарту" и пытаться поиграться с какой-нибудь моделькой локально. Первое, что пришло в голову, юзать вместо коллаба юпитер. Всё бы ничего, но эта скотина не работает. В смысле мозгов мне хватило его развернуть, но он тупо виснет при попытке запуска ячейки и не подаёт никаких признаков жизни. Ну, иногда (чаще всего после попытки закончить его мучения прерыванием процесса) выдаёт в логах ошибки, которые чат-гпт опознал как "чет там в версиях не совпадает, попробуй покреститься, помолиться, покаяться в грехах и побить в бубен, если не поможет, я хрен его знает" - в общем все его предложения по обновлениям, переустановкам, удалениями, перезагрузкам, скачиванием новых, старых, снова новых, а потом опять старых версий всего и вся были выполнены. Результат тот же - полнейшая импотенция, в смысле сервак висит и даже не шелохнется. В этой связи вопрос - есть какой-нибудь гайд, обучалка, ссылка или хоть что-нибудь, где для недалеких (типа меня) будет пошагово прописано, как с наименьшими телодвижениями организовать хотя бы относительно рабочее локальное пространство для этих нелепых кодинговых телодвижений на питоне в контексте привязывания ещё и llm? Пы. сы. Вопрос реально тупой, но я до этого на питоне не прогал вообще, кроме коллаба на курсе ничего не видел, да и вообще моя карьера программиста закончилась 15 лет назад, так что при виде современных сред разработок без каких-то явных указиловок на тему, как там собственно работать, по умолчанию включается режим "Я слишком стар для этого дерьма, не очень-то и хотелось".
f
23:51
février
In reply to this message
здесь больше про использование внешних апи специалисты сидят
23:51
In reply to this message
включая меня
23:53
In reply to this message
могу порекомендовать если здесь не ответят чаты по nlp и ml где вкатывальщики сидят https://t.me/natural_language_processing
https://t.me/betterdatacommunity
L
23:56
LLM Course | Chat
In reply to this message
можно попробовать на kaggle.com - похоже по функционалу на колаб. Дают ГПУ 30 часов в неделю и даже 2 ГПУ, плюс больше RAM. Только там номер телефона нужно подтвердить, чтобы пользоваться этим добром.
23:57
In reply to this message
В колабе тоже ГПУ квоту раз в неделю обновляют
12 September 2024
A
00:07
Alexander
In reply to this message
Кстати, вопрос про локальный запуск моделей всё равно бы оставил открытым. По работе надо на комп, где инета нет. WSL2 никто не пробовал использовать для этих целей?
L
00:08
LLM Course | Chat
In reply to this message
Для локального применения без инета может подойти Ollama - работает на всех платформах и без wsl
00:20
In reply to this message
Что бы попробовать самостоятельно:

1. Скачиваем ollama
2. Устанавливаем
3. Запускаем Terminal (CMD на Windows)
4. Пишем ollama run mistral (или phi, или любую другую модель из списка )
5. Приватно общаемся (даже с выключеным интернетом в самолете)
A
00:29
Alexander
In reply to this message
Ну это же по типу gpt4all? Просто чат с имеющимися моделями? А если мне кроме чата нужно что-то сделать? Загрузить или обработать те же документы с помощью ллм, но обязательно локально?
00:32
In reply to this message
Ну или модель, нужная мне, в ollama отсутствует?
k
11:11
khmelkoff
In reply to this message
На Win10 под WSL2 не поддерживается GPU, под Win11 вроде бы можно настроить, но это танцы с бубном и нужен какой-никакой опыт.
11:15
In reply to this message
Посмотрите на LM Studio, работает локально. Под Win. Там можно модель загрузить из HuggingFace протестировать в режиме чата. А если разбираться дальше, то есть API, имитирующий API OpenAI и примеры кода для запуска. т.е. LM Studio становится локальным сервером для модели. И кажется даже без GPU что-то можно запустить.
AK
11:56
Artem Kotlov
In reply to this message
Кроме ютуба полезен доступ и к Open AI для отработки промптов.
13 September 2024
VF
10:59
Vasiliy Fadeev
In reply to this message
Приветствую. Подскажите, пожалуйста, как спастись от ошибок парсинга, работая с SQL-агентом?
Пока использовал в качестве входа просто вопрос из файла - получал ответы без ошибок, но не корректные с т.з. валидатора заданий.
Как только добавил промпт кастомный в запрос к агенту - стал получать ошибки парсинга, которые обработкой в агенте не снимаются.

agent_executor = create_sql_agent(llm,
toolkit=toolkit,
verbose=True,
handle_parsing_errors=True)

...

for idx, row in df_questions.iterrows():
question = row['question'] # Предполагается, что колонка называется 'question'

first_prompt_template = """
### Instructions
- You will receive a question from user and an answer.
- Be short with your answer
- Forget about dots and other punctuation marks
- If the question requires a numerical response, simply state the number.
- Always speak Russian

Question:
{question}
Answer: <your answer>
"""
first_prompt = PromptTemplate(template=first_prompt_template, input_variables=["question"])
first_input = first_prompt.format(question=question)

try:
resp = agent_executor.invoke({"input": first_input})
resp_text = resp.get("output", "")
df_questions.at[idx, 'answer'] = resp_text

ошибка:
*/Error processing question 2: An output parsing error occurred. In order to pass this error back to the agent and have it try again, pass handle_parsing_errors=True to the AgentExecutor. This is the error: Could not parse LLM output: I don't know
11:00
In reply to this message
это просто пример ошибки, иногда там попадаются другие строки текста
L
16:50
LLM Course | Chat
In reply to this message
Тут вообще можно без промпта, просто кидаете вопрос в агента и он норм отвечает
VF
17:13
Vasiliy Fadeev
In reply to this message
я так сразу попробовал, валидатор не принял ответы.
17:14
In reply to this message
модель отвечает слишком "цветисто" - ее ответы обрезать приходится
VF
18:22
Vasiliy Fadeev
In reply to this message
вручную промпт из библиотеки отрабатывает нормально в интерфейсе бесплатного чата
14 September 2024
АП
08:46
Александр Пособило
Всем привет, сегодня столкнулся с проблемой несовместимости библиотек(вчера еще было все норм). Кидает разные ошибки в зависимости от очередности установки но чаще всего ошибка относится к Pydantic 2. Почитал что Langchain вроде как перешел с 1 на 2 версию, но в коллабе все летит, буду рад, если кто подскажет решение проблемы, или может тупо ждать пока другие библиотеки обновят?
08:51
вот такое еще кидает, видимо сегодня до 0.3.0 обновили
АП
09:10
Александр Пособило
Вопрос решен, langchain_community действительно обновили, из-за чего действительно много чего полетело. Вопрос решается просто установкой старой версии
АШ
19:49
Андрей Шантарин
In reply to this message
Добрый вечер. Возникла ошибка при использовании в колабе ключа от курса. Вчера с этим ключом нормально подключался. На всякий случай - мой stepik id 90263606.
М
19:53
Максим
In reply to this message
Такая же ошибка
15 September 2024
L
00:24
LLM Course | Chat
In reply to this message
Похоже langchain опять обновился и уронил нашу АПИ, будем разбираться в понедельник. Пока пользуйтесь версией 0.2.0
K
13:14
Kirill
In reply to this message
Может вы уже сделаете requirements.txt, чтобы ваш апи при каждой обнове не падал?
BW
16:55
Bruce Wayne
In reply to this message
не работет ключ из курса почему то, кто-нибудь знает?
17:00
In reply to this message
а как пользоватся этой версией 0.2.0?
BW
17:18
Bruce Wayne
In reply to this message
Установить 0.2.0 какой-то пакет?
АП
18:31
Александр Пособило
In reply to this message
Да, обновы выкали на langchain вот и пакеты крашнулись
BW
20:04
Bruce Wayne
In reply to this message
Спасибо
R
20:05
RemoveJoinGroupMsgBot by @Bot442
This group uses @RemoveJoinGroupMsgBot to remove joined group messages. Add the bot to your group to keep the conversation clean.

(Get an ad-free license to disable future credit message)
А
22:54
Артем
In reply to this message 
pip install langchain==0.2.0
16 September 2024
АП
05:38
Александр Пособило
In reply to this message
langchain_community
17 September 2024
L
13:45
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 17.09.2024 13:44:47
In reply to this message
Никогда такого не было, и вот опять!

Как многие заметили, langchain и openai снова обновились и немного поломали нам АПИ, как раз в выходные. 🤯
В этот раз проблему удалось пофиксить достаточно быстро, но всё-таки АПИ с ключом курса полноценно не работал 4 дня. 😢

Так же заодно исправили баги и опечатки в некоторых ноутбуках. Просьба ко всем обновить utils.py.

Уже поступили несколько просьб перенести дэдлайн по розыгрышу, так как АПИ не функционировал.
Мы решили пойти навстречу - ПЕРЕНОСИМ розыгрыш мерча на неделю, проведём 27 сентября (пятница).

На данный момент участвуют 24 человека. При этом выдано 78 сертификатов курса, но отзыва ещё не оставили. В общем, шанс выиграть приз достаточно высокий - успевайте!🚀

P.S: Студенты курса сдают всё больше интересных проектов - скоро расскажем в канале!🔥
A
15:05
Andrey
In reply to this message
Photo
634×37
Всем привет, если начал курс проходить давно, допрохожу сейчас и ошибка по токену
15:05
In reply to this message
в боте пишет у вас уже есть токен
L
15:06
LLM Course | Chat
In reply to this message
токен полгода действует.
15:06
In reply to this message
Напишите @tenishevnikita чтобы обновить
VG
15:49
Vladislav Goncharuk
In reply to this message
ребята, в какой чат нужно написать чтобы получить уникальный API-ключ?
AG
15:50
Andrey Galitsin
In reply to this message
task.py
3.3 KB
@ivanich_spb
Добрый день! У меня за пару часов работы с заданием 4.2.6 сгорело 1М токенов. Я пробовал разные формулировки промптов и разные параметры сплиттера. Код запускал в дебаг режиме. Подскажите пожалуйста, что могло вызвать такое быстрое списание токенов?

Прикладываю код
L
16:00
LLM Course | Chat
In reply to this message
Так если у вас было всего 1М, на других заданиях вы их тоже использовали.
16:03
In reply to this message
Каждый раз по новой создавали векторную базу - тратили токены на эмбеддинги.
Плюс у агента лучше ограничивать число итераций 5-10, по умолчанию там 100. Ну и отлаживать лучше на одной записи, а не каждый раз весь цикл запускать.
16:04
In reply to this message
И добавку в промпт к опенАИ агенту лучше не делать.
AG
16:10
Andrey Galitsin
In reply to this message
У меня было 1М перед началом выполнения этого задания. И конечно, я не весь цикл запускал для отладки, а только 1 вопрос, после которого ставил точку остановки
L
16:19
LLM Course | Chat
In reply to this message
Вообще выглядит странно лоадер, салиттер, создание базы, все запихивать в инит класса. При создании экземпляра каждый раз это всё будет пересоздаваться.
Опять же я не знаю как вы запускали.
VG
16:20
Vladislav Goncharuk
In reply to this message
Ребята, так где в итоге достать этот ключ?(
NT
16:22
Nikita Tenishev
In reply to this message
Есть кнопки у бота, открыть клавиатуру и использовать их
VG
16:24
Vladislav Goncharuk
In reply to this message
Разобрался, спасибо. Не заметил сразу
AG
16:37
Andrey Galitsin
In reply to this message
Да, каждый раз пересоздаётся при запуске. Но тут токены тратятся только на создание эмбедингов. Всё остальное просто требует времени на парсинг страницы и тд. Неужели создание эмбедингов столько токенов съедает? Но эмбединги ещё и от сплитера зависят, пока тут параметры подбираю, я не вижу другого варианта, как это можно делать…
L
17:12
LLM Course | Chat
In reply to this message
Рекомендуем в начале отлаживать код в ноутбуках.
Можете пока пропустить задачу, и потом попробовать вернуться к ней с опенсорсной моделью.
AG
17:16
Andrey Galitsin
In reply to this message
У меня вопрос скорее по следующим задачам, их ещё много, а токены сейчас закончились и не хочется, чтобы они дальше с такой скоростью тратились 🤷‍♂️
L
17:20
LLM Course | Chat
In reply to this message
Не знаю как у вас получилось. На агенты, конечно, больше всего токенов обычно уходит, обычно 200 - 300К. Но 1М на одной задаче.
Весь курс можно за 600-800К закончить.
17:24
In reply to this message
Мы не можем их бесконечно раздавать - так же их закупаем. Можно ещё 1М докупить при желании.
VF
17:36
Vasiliy Fadeev
In reply to this message
Перейдите в блокнот работать на задания RAG. Так Вы будете экономить на эмбедингах при полировке промптов
17:37
In reply to this message
Про задание с Ганнибалом я бы с удовольствием с кем-нибудь обсудил код и возможности улучшения. Не смог добиться результата лучше, чем 7 из 10
АП
17:39
Александр Пособило
In reply to this message
Есть неплохие апишки от nvidia, там какое-то количество токенов бесплатно дадут
М
18:43
Максим
In reply to this message
Гигачат даёт миллион токенов, правда лайт версия. :(
D
22:08
DinEqu
Добрый день, обновил utils, ошибка осталась.
L
23:09
LLM Course | Chat
In reply to this message
Какая ошибка?
18 September 2024
A
09:59
Alibek
Добрый день! Выход GPT-o1 повлияет на содержание курса?
L
10:27
LLM Course | Chat
Не повлияет.
L
13:45
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 18.09.2024 13:45:01
In reply to this message
Не знаете чем себя занять? 🤔

Вам на помощь придёт проект "Чё поделать?", который сдал студент нашего курса Anonymous 141978257 😅.

Сервис выполнен в виде веб-приложения (код) с GPT-3.5 под капотом, которое по выбранным параметрам рекомендует, чем бы таким заняться.
Отличное оформление кода и репозитория, есть планы по дальнейшему развитию функционала.
Даже специально зарегистрированный домен: чёподелать.рф 🔥

Но мы и так знаем, чем вы будете заниматься до 27.09 - активно ботать курс, чтобы успеть к РОЗЫГРЫШУ! 🏃‍♂️

P.S.: Пишите в комментариях, как вам этот проект и поддержите автора 👍 и ⭐ на гитхабе!
АА
19:29
Артём Анискевич
In reply to this message
Добрый вечер! Подскажите, почему может не работать код в данном случае?
19:29
In reply to this message
В ориг ноутбуке якобы отработал
L
19:54
LLM Course | Chat
In reply to this message
Спасибо! Поправим, там сейчас действительно поменялось.
19:55
In reply to this message
Надо добавить .content
19:55
In reply to this message
llm.invoke(prompt).content
L
20:23
LLM Course | Chat
In reply to this message
Обновили ноутбук
19 September 2024
АШ
11:15
Андрей Шантарин
In reply to this message
Добрый день. При решении задачи "ChatGPT - ваш ручной карьерный консультант" в уроке 2.2. возникает такая ошибка. Подскажите пжл, что делать?
L
11:50
LLM Course | Chat
In reply to this message
Надо отдельно посмотреть, что выдает модель в 9 примере, и почему не может распарсить - может надо промпт поправить или схему.
ZR
12:06
Zalina Rusinova
In reply to this message
Всем привет! У меня немного забавный вопрос, но как есть) как потратить больше токенов при меньшем количестве запросов? Почему спрашиваю - у openai есть тайеры по ограничению запросов, и чтобы перейти на новый, нужно потратить определенное количество денег. Как их побыстрее потратить?) если просто засыпать запросами, он уходит в превышение лимитов.
DA
12:08
Dolganov Anton
In reply to this message
По опыту выполнения заданий - обмазаться агентами

Особенно с большим количеством итераций

И прочими вещами которые вынуждают модельки генерировать промежуточный текст (рассуждения там всякие)

Токены летят только так
ZR
12:09
Zalina Rusinova
In reply to this message
Так вот это дополнительные запросы) хотя.. Надо попробовать конечно)
DA
12:10
Dolganov Anton
In reply to this message
хороший вопрос являются ли внутренние терзания модели отдельными запросами
)
ZR
12:12
Zalina Rusinova
In reply to this message
Никогда не думала, что 5$ - это так много)
DA
12:15
Dolganov Anton
In reply to this message
GIF
Д
14:10
Денис
In reply to this message
Здравствуйте, я ещё не записался на курс, такой вопрос.

Написано: Рассмотрим опенсорс (бесплатные) альтернативы ChatGPT и как их развернуть и дообучить на бесплатных ресурсах

О каких ресурсах идёт речь, меня интересует иммерс клод или/и яндекс клод. После обучения я смогу там разобраться? Если нет, то могу ли получить индивидуально консультацию?
14:11
In reply to this message
Речь о Ллама 3.1 8б, её хочу научиться разворачивать и обучать
L
14:11
LLM Course | Chat
In reply to this message
Как раз в уроке по файнтюну дообучаем именно её.
Д
14:12
Денис
In reply to this message
А про облако?
L
14:15
LLM Course | Chat
In reply to this message
Разворачивание моделей в конкретном облаке не рассматриваем в курсе. В целом, это +/- всё одинаково разворачивать на своем компьютере, на серваке или в облаке.
Д
14:16
Денис
In reply to this message
Я на пк её развернул спокойно, а вот на иммерс клод не могу)))

Можно будет получить консультацию конкретно? Ну платно конечно.
14:16
In reply to this message
Позже, через неделю примерно
L
14:17
LLM Course | Chat
In reply to this message
Мы с таким облаком не работали. С Яндекс клаудом был опыт.
14:18
In reply to this message
Может у них на платформе есть гайды или курсы как лучше пользоваться.
14:19
In reply to this message
Вообще для общего понимания лучше курс по Линукс пройти на том же Степике.
Д
14:23
Денис
In reply to this message
Да, это было первым моим действием))) но они отмораживаются, возможно кому то хотят перенаправить меня.

Понял, спасибо.

Последний вопрос. Ваше обучение по времени примерно сколько занимает? Мне надо научиться обучать сеть на готовых датасетах в 1 очередь.
ZR
14:24
Zalina Rusinova
In reply to this message
А кто-нибудь знает альтернативу nougat и unstructured для русского языка? что-нибудь, что качественно распарсит pdf и раскидает по табличкам, текстами и картинкам?
L
14:48
LLM Course | Chat
In reply to this message
Тут индивидуально очень кому какой темп комфортен, и многое от бэкграунда зависит. Опять же сколько времени уделять: кто-то за неделю справляется. Думаю от 2-х недель до месяца можно в комфортном темпе пройти.
G
21:16
Galina
In reply to this message
Добрый день, как записаться на курс? На Степике пишет что для мобильного приложения запись не доступна
L
21:27
LLM Course | Chat
In reply to this message
Покупать курсы только на сайте можно. Можно через мобильный браузер зайти.
20 September 2024
AM
09:13
Aleron Milenkin
In reply to this message
Попробуй на сайте

https://stepik.org/a/178846
22 September 2024
Е
14:38
Егор
In reply to this message
День добрый, бот в тг не выдает api ключ
L
14:40
LLM Course | Chat
In reply to this message
Проверил. Бот работает. Что отвечает?
14:41
In reply to this message
Попробуйте занонво с команды /start
Е
14:45
Егор
In reply to this message
Прогруз просто бесконечный
NT
14:46
Nikita Tenishev
In reply to this message
Еще раз попробуйте пожалуйста, через /start
Е
14:48
Егор
In reply to this message
Благодарю) Выдал
L
15:15
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 23.09.2024 15:04:40
In reply to this message
Новый проект на 30 из 30. 🔥

От студента курса Василия Фадеева.
Отлично выполненный проект с коммерческой перспективой. Сервис выполнен в виде веб-приложения на Streamlit, задеплоен на AWS, под капотом RAG система на langchain, модель и эмбеддинги от OpenAI. (код и описание)
В ишьюс серьёзный список планов по доработке нового функционала.
Отличная реализация на высший балл! 🚀

P.S.: Пишите в комментариях как вам проект Василия и поддержите автора 👍
D
20:59
DinEqu
In reply to this message
403 - Could not validate token
L
23:59
LLM Course | Chat
In reply to this message
А ключ давно получали?
24 September 2024
D
09:45
DinEqu
Получал больше 6 мес, проверяли 2 недели назад
L
09:46
LLM Course | Chat
In reply to this message
А можете посмотреть, что сейчас бот отвечает?
D
09:51
DinEqu
Тоже отвечает 403
L
09:51
LLM Course | Chat
In reply to this message
Бот в котором ключ получали
D
09:53
DinEqu
Осталось токенов 994тыс.... до 25 года действ
L
09:55
LLM Course | Chat
In reply to this message
тогда должен работать. А куда вводите токен?
V
10:03
Vladislav
У меня была кажется 403 ошибка, попробуйте в боте поменять модель с 4о-mini на 3.5 turbo
25 September 2024
ВВ
05:18
Владимир Варнавский
In reply to this message
Доброе утро! Раздел 4.2. Нужно зарегистрироваться на SerpAPI, оно они меня не регистрируют. Говорят, что 
We couldn't create your account due to activity on your
                                                        network. Please contact our support.

Они меня ненавидят и запретили доступ? Пробовал зарегиться через Гитхаб, Гугл и напрямую через почту: всё одинаково.

VPN или неVPN тоже роли не играет
АБ
10:15
Алексей Байдалин
In reply to this message
Подскажите, почему не работает?
L
10:19
LLM Course | Chat
In reply to this message
есть ещё такой же сервис serper
10:27
In reply to this message
У вас всплывающие окна не заблокированы? После запуска ячейки, нужно выбрать аккаунт и проставить все галочки на доступ к диску
А
10:30
Артем
In reply to this message
Они определяют страну по почте(
AG
12:17
Andrey Galitsin
In reply to this message
При импорте utils стала появляться такая ошибка. Подскажите, кто-нибудь сталкивался с таким?
TM
12:25
Timur Makhmutov
In reply to this message
чет не понимаю, не подгружается бдшка из резервной копии
может кто-то может подсказать?
L
12:27
LLM Course | Chat
In reply to this message
Утилс обновляли? На прошлой неделе вышел апдейт
АП
12:45
Александр Пособило
In reply to this message
Выглядит так будто библиотека langchain_community не скачана просто
TM
13:35
Timur Makhmutov
In reply to this message
Вроде скачалась, но с нескольких попыток запуска ячейки
13:36
In reply to this message
Не понимаю, это у меня мозгов не хватает или коллаб что-то тупит в последнее время
13:43
In reply to this message
это в итоге у меня с бд что-то не так, я правильно понимаю?
АП
13:48
Александр Пособило
In reply to this message
Я сталкивался с такой проблемой, это скорее всего проблема не бд, а LLM, поменяй ее либо настрой как-то
13:49
In reply to this message
Если используешь gpt такого быть не должно, с другими моделями уже сложнее
13:49
In reply to this message
У меня только Gemma2 сработала
TM
13:49
Timur Makhmutov
In reply to this message
ага, спасибо. использую llama, на gpt токены закончились уже
АП
13:50
Александр Пособило
In reply to this message
На ламе такая же байда была у меня да, я вообще думаю что это можно как-то пофиксить, но я пошел просто методом перебора моделей
13:50
In reply to this message
Если кто знает как это пофиксить, то маякните
TM
13:50
Timur Makhmutov
In reply to this message
gemma-2-9b-it - вот это сработала, да?
АП
13:51
Александр Пособило
In reply to this message
На 27b
TM
13:51
Timur Makhmutov
In reply to this message
да, было бы супер гуд)
13:51
In reply to this message
благодарю, щя попробую
13:58
In reply to this message
блин, она что-то мой ключ принимать не хочет((
13:58
In reply to this message
печально это, конечно
АП
13:59
Александр Пособило
In reply to this message
Скинь код помогу
14:00
In reply to this message
Ты же через нвидиа апи делаешь?
TM
14:00
Timur Makhmutov
In reply to this message
ага, нужен код инициализации модели? или ошибки?
АП
14:01
Александр Пособило
In reply to this message
Первое
TM
14:01
Timur Makhmutov
In reply to this message
api_key = getpass(prompt='Введите API ключ')
llm = ChatNVIDIA(model="google/gemma-2-27b-it",
nvidia_api_key=api_key
)
14:02
In reply to this message
с другими моделями все было ок, от той же нвидиа
АП
14:02
Александр Пособило
In reply to this message
А ошибка какая
TM
14:03
Timur Makhmutov
In reply to this message
Exception: [401] Unauthorized
RequestID: b890020d-439255
Please check or regenerate your API key.
АП
14:03
Александр Пособило
In reply to this message
Попробуй ключ перегенерировать
14:05
In reply to this message
я вот так инициализирую, только использую не гетпасс, но суть та же 
from dotenv import load_dotenv
import os
from
                                                        langchain_nvidia_ai_endpoints import NVIDIAEmbeddings,
                                                        ChatNVIDIA

def
                                                        initialize_llm(model_name='google/gemma-2-27b-it'):

                                                        load_dotenv()
 api_key =
                                                        os.getenv('NVIDIA_API_KEY')

 if not
                                                        api_key:
 raise ValueError("API ключ не найден!
                                                        Проверьте файл .env")

 llm =
                                                        ChatNVIDIA(model=model_name, nvidia_api_key=api_key)

                                                        embedder =
                                                        NVIDIAEmbeddings(model='nvidia/nv-embedqa-mistral-7b-v2',
                                                        api_key=api_key)

 return llm, embedder
TM
14:07
Timur Makhmutov
In reply to this message
да, я уже раз пять перегенерировал и инициализировал несколькими способами, но именно с gemma-2-27b такая проблема почему-то
L
14:08
LLM Course | Chat
In reply to this message
Может там надо разрешение получить, как на Ламу?
TM
14:09
Timur Makhmutov
In reply to this message
а что-то я тут ничего про разрешения не вижу)
14:09
In reply to this message
но не исключаю, что может и надо)
АП
14:11
Александр Пособило
In reply to this message
Странно, можешь тогда попробовать подшаманить с ламой, чтоб она нормально обрабатовала, я предполагаю, что она использует какой-то открывающий токен observ и она дальше склеивает с запросом и из-за этого ошибка, можешь попробовать SQL агенту в description явно указать, что нужно убирать этот observ и оставлять только сам запрос и в дополнение можешь еще пример дать как должно получится.
L
14:11
LLM Course | Chat
In reply to this message
На Каггле перед тем как гемой пользоваться надо соглашение аппрувнуть.
АП
14:13
Александр Пособило
In reply to this message
В коллабе делай там все норм, либо вот так попробуй, у меня гамма на сложных запросах тоже начинала кидать символы в запрос, я просто в description явно ей сказал что так делать не надо
14:13
In reply to this message
Но сам неделю где-то с этим разбирался)
TM
14:16
Timur Makhmutov
In reply to this message
Хорошо, спасибо ребята! буду думать, разбираться!
14:27
In reply to this message
ничего не поменял, но гема просто взяла и заработала
у меня колабом походу какая-то хрень
L
14:48
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 25.09.2024 14:35:54
In reply to this message
00:08
Привет, LLM-монстры! 😈

🎁 Розыгрыш МЕРЧА для студентов курса состоится в эту пятницу 27.09 в 16:30 - будет прямой эфир на этом канале!
Помимо розыгрыша, можно будет задать вопросы и пообщаться с авторами.

Так же разыграем приз среди онлайн зрителей СТРИМА!🔥
И ТОЛЬКО во время трансляции будет доступен вкусный промокод на покупку курса. 🤑

Напоминаем, условия очень простые:
- пройди курс до любого сертификата
- оставь отзыв о курсе на Stepik

Успеваете? Футболки, ремуверы и миллионы токенов ждут своих хозяев!😇

P.S.: Пока в розыгрыше только 30 участников на 20 призов - шансы очень БОЛЬШИЕ!
АБ
20:24
Алексей Байдалин
In reply to this message
Просьба помочь
TM
20:26
Timur Makhmutov
In reply to this message
так библиотеки то загрузи
А
21:24
Артем
In reply to this message
В степе 4.1.4 при нажатии на документацию - Page Moved
документация обновилась)
L
21:34
LLM Course | Chat
In reply to this message
Спасибо, поправил
26 September 2024
L
14:53
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 26.09.2024 14:53:08
In reply to this message
Псс, LLM-master, знаешь, что на картинке? 🤔

Мы тоже не знали, пока не начали проверять проект, сданный студенткой курса Марией Изофатовой - @slemary_taro_bot
А что? Финальный проект не обязательно должен быть заточен под коммерческие рельсы, а вполне может быть таким "Хобби-ботом". Хотя при желании, и сюда можно монетизацию прикрутить (расклады за 💵).

Бот может гадать на будущее, объяснять карты, делать расклады как на картинке и объяснять, что они означают.
На наш взгляд, боту не хватает визуала, ведь Таро - это, в первую очередь, визуальная история. И по UI есть, что доработать - менюшки красивые, интерфейс перевести.
Но, в целом, идея интересная и уже реализована в виде работающего бота. Может кто-то тоже увлекается () и захочет помочь Марии доработать функционал.

P.S: Пишите в комментариях как вам проект Марии, и как называется расклад Таро с картинки.

P.P.S.: Можно спросить у бота повезёт завтра в розыгрыше мерча или нет!😇
АБ
18:25
Алексей Байдалин
In reply to this message
Нужна помощь. Тема 1.3 OpenSource + HuggingFaceHub API
А
18:37
Артем
In reply to this message
слишком активно дергали api и hf ограничил доступ)
18:37
In reply to this message
можно через часик попробовать. думаю ограничение спадет
DD
20:15
Dasha Dasha
In reply to this message
В 4.1 никак не получается подгрузить pdf-ку в лоадер, все время пишет что не хватает библиотеки то одной то другой, как исправить?(
АБ
20:51
Алексей Байдалин
In reply to this message
не дергал, это первая попытка-не работает
АП
21:27
Александр Пособило
In reply to this message
Так сложно сказать, возможно библиотека не скачана какая-то, либо разногласие у библиотек
L
21:28
LLM Course | Chat
In reply to this message
Лучше использовать pyPdfLoader
АБ
22:18
Алексей Байдалин
In reply to this message
<ipython-input-2-eeb3f8953736>:16: LangChainDeprecationWarning: The class HuggingFaceEndpoint was deprecated in LangChain 0.0.37 and will be removed in 1.0. An updated version of the class exists in the :class:~langchain-huggingface package and should be used instead. To use it run `pip install -U :class:~langchain-huggingface` and import as from :class:~langchain_huggingface import HuggingFaceEndpoint``.
22:18
In reply to this message
Нужна помощь. Тема 1.3 OpenSource + HuggingFaceHub API
22:19
In reply to this message
Нужна помощь. Тема 1.3 OpenSource + HuggingFaceHub API <ipython-input-2-eeb3f8953736>:16: LangChainDeprecationWarning: The class HuggingFaceEndpoint was deprecated in LangChain 0.0.37 and will be removed in 1.0. An updated version of the class exists in the :class:~langchain-huggingface package and should be used instead. To use it run `pip install -U :class:~langchain-huggingface` and import as from :class:~langchain_huggingface import HuggingFaceEndpoint``.
L
23:45
LLM Course | Chat
In reply to this message
Похоже у вас старая версия ноутбука. Мистраль модели похоже перестали бесплатно инференсить с хагинфейса
27 September 2024
NZ
08:55
Nikita Zelinskiy
In reply to this message
можно через ollama тогда
L
16:43
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 27.09.2024 16:40:03
In reply to this message
Завершился стрим с розыгрышем мерча 🎁 (запись прилагается - всё прошло честно)

Список победителей:
# REM 1 Леонид Саморцев ФУТБ
# REM 2 Дмитрий Блинов
# REM 3 Владислав Куриченко
# REM 4 Иван Мордовец
# REM 5 Василий Фадеев
# REM 6 Denis Pokrovsky

# T-bolka 1 Vladimir Rudenko
# T-bolka 2 Artem Kotlov
# T-bolka 3 Denis Pokrovsky
# T-bolka 4 Aleksandr Pylaev
# T-bolka 5 Артём Варвус
# T-bolka 6 Пособило Александр

# 1M Tokens 1 Igor Khmelkov ФУТБ
# 1M Tokens 2 Чельдиева Людмила
# 1M Tokens 3 Anonymous 141978257
# 1M Tokens 4 Anonymous 50383849
# 1M Tokens 5 Алексеев Андрей
# 1M Tokens 6 Александр Никитин

# 5M Tokens Константин Const
# REM+T-bolka+1M Tokens Виктор Недов
# (online) REM Nikita Tenishev

Имена взяты со Stepik аккаунтов.

Просьба победителям заполнить форму для получения призов. У кого приписка ФУТБ - сразу отправим вам ранее заслуженную футболку, укажите размер.
28 September 2024
L
13:25
LLM Course | Chat
?
🤖 AI Practice | LLM | ChatGPT | GenAI 28.09.2024 10:52:01
In reply to this message
"Ну, там с этим мужиком из Мстителей, и в конце все умерли..."

Знакомая ситуация?
Закрыть эту боль попытался в своём итоговом проекте студент курса Александр Пособило (@Sanchez_Z_Z_z_Z). И надо признать, это у него отлично получилось - оценили на 30 из 30.🔥

Это первый проект, где используются агенты (целая банда) и ансамбль ретриверов (код). Плюс отличное оформленный README - можно брать за образец!

Сервис "Movie Search ChatBot" задеплоен на Streamlit, можно ползоваться - мы долго пытались сломать каверзными вопросами - не получилось. Помимо поиска, может рассказать о чем фильм по названию, сделать подборку в любимом жанре, собрать топ с любимым актером или режиссером.🚀
В общем, проект из разряда - "давно над таким думал, но руки никак не дойдут." А Александр взял и сделал, классная идея и реализация - ботом действительно интересно и залипательно пользоваться!

Напишите в комментариях, какой фильм вам помог вспомнить этот бот и поддержите автора 👍 и ⭐️
30 September 2024
АП
07:58
Александр Пособило
Ребят, знает кто как langsmith подрубать в прод так чтобы отслеживать всю информацию можно было?
L
16:27
LLM Course | Chat
In reply to this message
Насыпали всем токенов - проверяйте!
Dk
17:30
Dmitry k
In reply to this message
здравствуйте. Не могу продолжить курс почему-то, хотя зашел в свой кабинет и все вроде должно работать
17:32
In reply to this message
L
17:33
LLM Course | Chat
In reply to this message
Попробуйте обновить страницу, или зайти-выйти из профиля. Стэпик бывает лагает.
k
17:45
khmelkoff
In reply to this message
L
17:47
LLM Course | Chat
In reply to this message
напишите @tenishevnikita
NT
18:07
Nikita Tenishev
In reply to this message
обновил
IR
23:35
Ivan Ryzhov
Всем привет! Рад присоединиться к сообществу!
1 October 2024
A
08:49
Aidar
Всем привет! Ищу команду на цифровой прорыв(11-13 октября)
k
10:18
khmelkoff
In reply to this message
Спасибо!
DP
11:56
Denis P
In reply to this message
ну, немного корявый, но точный ответ...
АП
12:09
Александр Пособило
In reply to this message
Моделька 27b параметров все-таки для текущих реалий не самая мощная, поэтому бывают «корявости», но для мультиязычной вполне приемлемо как мне кажется
DP
12:11
Denis P
In reply to this message
вполне
f
14:56
février
это онлайн?
A
15:09
Aidar
In reply to this message
Да
f
15:09
février
го в лс