19:55:20 От Sergey : Добрый вечер. 19:56:53 От korolev : отлично 19:56:54 От Sergey : хорошо 19:56:57 От Dmitriy Shitikov : + 19:57:07 От Alexander Bogushov : + 19:57:08 От Анатолий : + 19:57:41 От agapov : + 20:03:02 От Анатолий : + 20:03:03 От Alexey Kryachko : + 20:03:03 От Александр Филиппенко : + 20:03:06 От Dmitriy Shitikov : + 20:03:06 От andrey : + 20:03:07 От agapov : + 20:05:00 От Михаил : ! 20:05:00 От Анатолий : ! 20:05:01 От Александр Филиппенко : ! 20:05:02 От agapov : ! 20:05:03 От andrey : ! 20:05:03 От Alexey Kryachko : ! 20:05:04 От Sergey : ! 20:05:04 От korolev : ! 20:05:04 От Kirill Amurskiy : ! 20:05:05 От Dmitriy Shitikov : ! 20:05:06 От Alexander Bogushov : ! 20:12:26 От OTUS Онлайн-образование : https://ru.wikipedia.org/wiki/LSM-дерево 20:15:49 От korolev : - 20:15:52 От Alexander Bogushov : - 20:15:52 От Ивченков : - 20:15:53 От Dmitriy Shitikov : - 20:15:54 От Юрий Монзиков : - 20:15:56 От Анатолий : - 20:15:57 От Александр Филиппенко : - 20:16:04 От Юрий Монзиков : + 20:16:06 От Kirill Amurskiy : норм 20:16:07 От Sergey : норм 20:16:07 От Dmitriy Shitikov : норм 20:16:07 От korolev : норма 20:16:10 От Vitaly Yushkevich : норм 20:16:10 От Ивченков : норм 20:16:17 От andrey : норм 20:16:25 От Kirill Amurskiy : повторение - его мать 20:22:55 От Kirill Amurskiy : LRS - новости, такси, сообщения 20:23:21 От Kirill Amurskiy : MRU - когда обрабатываем что-то и после обработки не используем. 20:23:26 От Александр Филиппенко : LRU эффективнее когда много чтений, а MRU когда запись\ 20:23:30 От Kirill Amurskiy : (используем не скоро) 20:24:06 От Александр Филиппенко : собираем сообщения в пакеты и сбрасываем в лог? 20:24:12 От Kirill Amurskiy : Перевыпуск токенов? 20:24:39 От Александр Филиппенко : Вроде в КХ рекомендуют так писать, большими кусками 20:29:45 От Михаил : + 20:29:49 От Vitaly Yushkevich : + 20:29:49 От korolev : + 20:29:51 От Анатолий : + 20:29:52 От Александр Филиппенко : + 20:29:54 От Kirill Amurskiy : ну честно говоря не очень 20:30:15 От Kirill Amurskiy : если мы будем хранить время последнего обращения ,то можно так же пробижаться и удалить те, что старее Х 20:30:26 От Kirill Amurskiy : (когда нужно удалить) 20:30:54 От Kirill Amurskiy : ясно 20:32:05 От Kirill Amurskiy : мы можем один раз пробижаться, получить статистику по временам и из этого определить время, старше которого нужно удалять 20:34:09 От Ивченков : + 20:34:11 От korolev : + 20:34:12 От Михаил : + 20:34:12 От Kirill Amurskiy : + 20:34:13 От Vitaly Yushkevich : + 20:34:13 От Dmitriy Shitikov : + 20:34:15 От Alexey Kryachko : + 20:34:16 От Юрий Монзиков : + 20:34:17 От Александр Филиппенко : + 20:34:18 От Alexander Bogushov : + 20:36:06 От Kirill Amurskiy : для процессоров это не работает, там без кэша никакой нагрузки не выдержать 20:36:10 От Sergey : Зачем тогда Кеш? 20:36:19 От Alexey Kryachko : У Юлы 4ТБ в редисе. и он шардированный. 20:36:38 От Alexey Kryachko : 30 серверов 20:36:52 От Alexey Kryachko : каталог товаров 30 млн... 20:37:06 От Alexey Kryachko : и еще что то с пользователями 20:37:16 От Александр Филиппенко : прям совсем редис тушить? Многие приложения сделаны так что упадут если не смогут подключиться 20:37:17 От Sergey : разве можно отдавать такое же количество запросов только в разы медленнее? 20:38:59 От Alexey Kryachko : А если его кластеризовать в 3 датацентрах? 20:39:06 От Alexey Kryachko : На примере Юлы? 20:40:12 От Sergey : Так проводить учения не на полной нагрузке? 20:41:01 От Sergey : а если просто будет тормозить это проблема? 20:41:21 От Andy : давайте не много уточним. Все же одно дело использовать редис как кеш, а другое как хранилище для обмена например данными между система. 20:41:57 От Andy : продолжай, хвали Редис 20:42:09 От Sergey : а мемкеш плохой? Вроде он не падает 20:44:11 От Ивченков : - 20:44:17 От korolev : - 20:44:44 От Kirill Amurskiy : надо думать, вот на примере процессоров не рабоатает, скорее всего можно придумать примеры и вебе 20:44:49 От korolev : я тоже от него это слышал 20:45:20 От Kirill Amurskiy : вот почитать как устроен whatsapp 20:45:35 От Kirill Amurskiy : на сколько я помню там чуть-чуть всего машин и там очень активно кэши 20:45:57 От Kirill Amurskiy : там несколько очень мощных серверов 20:46:02 От Andy : Все отлично, только тут спорить нечего в плане того, что система должна работать без кеша, держать нагрузку. WhatsApp там функциональщики живут 20:46:04 От Andy : А них все хорошо 20:46:14 От Kirill Amurskiy : года полтора назад читал не буду врать 20:47:31 От Леонид Черненко : Использовал Redis как основное хранилище для части данных, столкнулся с тем, что время отклика непредсказуемое, сильно "плясало". Отказался и всё стабилизировалось. 20:48:16 От Sergey : Ну если вот рбк главная страница лежит в Кеше, ну понятно что без кеша она будет отдаваться очень долго 20:48:57 От Andy : Вы про РБК контент? 20:49:37 От Sergey : ну поесть будет отдаваться 5 секунд и всем без ошибок? 20:49:53 От Sergey : понятно 20:51:12 От Andy : Мне приходилось смотреть РБК контент, не знаю относится она к тому РБК, который этот. Вопросов много осталось и бухать стал больше. 20:54:45 От Ивченков : + 20:54:49 От andrey : забыл идемпотентный ) 20:55:00 От Анатолий : + 20:55:00 От Dmitriy Shitikov : + 20:55:03 От Sergey : Всегда отдает одно и тоже? 20:55:03 От Vitaly Yushkevich : + 20:55:04 От Alexander Bogushov : + 20:55:18 От Alexander Bogushov : Не изменяет данные 20:59:22 От Sergey : я в качестве еtag использовал timestamp, это плохо? 21:00:01 От Sergey : + 21:00:08 От korolev : так а если рандомная строка, то как будет кэшироваться? всегда же измененное значение будет 21:00:29 От Леонид Черненко : хеш от версии файла 21:00:39 От Леонид Черненко : ок 21:03:31 От Леонид Черненко : Кеш статики это банально, открываешь Google Page Speed и пошёл оптимизировать, изучать по шагам с подробными инструкциями. 21:04:20 От Vitaly Yushkevich : 304 статус сейчас еще модно как раз 21:05:09 От Kirill Amurskiy : Так что делать то разарботчикам? При размещении в CDN/nginx указываем etag(как?) и настраиваем CDN/nginx чтобы они выдавали все возможные заголовки при ответе? 21:05:51 От OTUS Онлайн-образование : https://ruhighload.com/%D0%9A%D0%B5%D1%88%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5+%D1%81+http+etag 21:07:19 От Kirill Amurskiy : no-store, no-cache - загловки запроса? 21:07:46 От Kirill Amurskiy : ясно 21:11:44 От Андрей : сборщики фронта же сами генерят хэши для имен 21:12:01 От Андрей : webpack и т.д. 21:12:34 От OTUS Онлайн-образование : https://habr.com/ru/post/428127/ 21:14:15 От korolev : а что за cache_zone ? 21:14:58 От Андрей : Nginx может только в памяти хоста кэшировать? 21:15:40 От Андрей : ясно 21:15:59 От Vitaly Yushkevich : - 21:16:00 От korolev : - 21:16:03 От Анатолий : - 21:16:13 От Dmitriy Shitikov : - 21:16:26 От Леонид Черненко : Достаточно ли настроек nginx, чтобы разрулить кеширование статики? 21:16:47 От Леонид Черненко : ок 21:17:07 От Kirill Amurskiy : а аватарки пользователей и фотки ими загруженные - это статика? 21:17:20 От Kirill Amurskiy : как ее доставлять на nginx? 21:19:04 От Sergey : Видео есть звука нет 21:19:11 От Sergey : ++ 21:19:11 От Kirill Amurskiy : + 21:19:12 От Михаил : + 21:19:12 От Vitaly Yushkevich : + 21:19:12 От Dmitriy Shitikov : + 21:19:12 От Alexey Kryachko : + 21:19:12 От Юрий Монзиков : + 21:19:13 От Анатолий : + 21:19:27 От Andy : сколько раз моргнул? 21:19:32 От Леонид Черненко : провайдер вырубил по слову "деньги" 21:19:34 От korolev : + 21:19:34 От Andy : а тогда норм 21:19:43 От Юрий Монзиков : учения 21:19:46 От Kirill Amurskiy : остановились на доставке фоток и видосов на nginx) 21:22:07 От korolev : зачем все в один файл загонять? 21:22:20 От Vitaly Yushkevich : update же дорогой? 21:23:17 От Kirill Amurskiy : реплицировать блобы? 21:23:24 От korolev : так и не понял, почему по отдельности не хранить? 21:23:34 От Kirill Amurskiy : а как nginx будет до этих файлов ходить? 21:23:41 От Андрей : а localstack для таких целей в продакшене используют? 21:25:00 От korolev : понял, спасибо 21:25:39 От Kirill Amurskiy : т.е. для получения этих файлов пишем специальные сервисы 21:26:17 От Леонид Черненко : в S3 есть репликация? 21:26:26 От Kirill Amurskiy : а в s3 можно т.о. просто мелкие файлы записывать? 21:26:27 От Vitaly Yushkevich : А для Я.облако и mail (писали, что она s3 совместимые) - это тоже верно? 21:26:35 От Vitaly Yushkevich : или только про amazon 21:27:08 От Kirill Amurskiy : т.е. если у меня хранилище в амазоне, то мой nginx может в s3 ходить просто? 21:27:20 От Kirill Amurskiy : или s3 - это не про амазон AWS? 21:28:25 От Леонид Черненко : Дорого по обьёму файлов или по обьёму трафика? 21:28:39 От Андрей : а какие есть решения для своего хронилища с протоколом s3 ? я только localstack знаю 21:29:13 От Андрей : оке 21:29:45 От OTUS Онлайн-образование : https://www.youtube.com/watch?v=O247Hq3ego4 21:30:25 От Vitaly Yushkevich : Что можно делать на Lua?) 21:30:41 От Vitaly Yushkevich : слышал. Что в ES еще он есть 21:30:46 От Vitaly Yushkevich : elastic 21:36:07 От Ивченков : Как отслеживать?) 21:36:20 От Леонид Черненко : Можно мониторить Cache Miss Rate ) 21:37:39 От Леонид Черненко : Thundering heard - слышал гром, не знаю где он? ) 21:38:15 От Леонид Черненко : а, понял ) 21:40:26 От Alexey Kryachko : + 21:40:27 От Михаил : + 21:40:28 От Kirill Amurskiy : не очень 21:40:29 От Анатолий : + 21:40:30 От Kirill Amurskiy : ускользнуло 21:40:36 От Ивченков : А если блокировка не снялась? 21:40:37 От korolev : тоже не очень 21:40:37 От Леонид Черненко : суть в таймауте? 21:40:59 От Sergey : Это на уровне приложения? 21:42:05 От Sergey : мы же говорили что и без кеша должно работать) 21:42:06 От korolev : понял 21:42:12 От Леонид Черненко : интересная схема 21:42:17 От Sergey : + 21:43:07 От Ивченков : Если один запрос залочил кеш и упал, то остальные уже никогда не получат свежие данные и не смогут обновить кеш, так? 21:43:28 От Kirill Amurskiy : там таймаут надо реализовывать 21:43:45 От Леонид Черненко : зайти на главную 21:44:38 От Леонид Черненко : Ивченков, остальные спят секунду, потом просыпаются и получают свежий кеш 21:45:33 От Vitaly Yushkevich : Sleep = ttl по сути 21:45:34 От Ивченков : Понял, спасбио. 21:45:56 От Vitaly Yushkevich : А как достать старые данные кэша в этом случае? 21:46:16 От Vitaly Yushkevich : А ты говорил, если не смогли получить данные кэша, то берем старые и возвращаем 21:46:18 От Vitaly Yushkevich : Если я правильно поня 21:46:20 От Леонид Черненко : Старые доступны пока новые не приехали... 21:46:25 От Vitaly Yushkevich : подождали, но не смогли 21:46:44 От Vitaly Yushkevich : ок. Просто по ttl он то исчезнет 21:48:54 От Леонид Черненко : Мой рецепт против инвалидации - кешировать только самое необходимое, всё остальное не кешировать. Тогда меньше головной боли 21:52:04 От Ивченков : + 21:52:08 От Леонид Черненко : + 21:52:09 От Dmitriy Shitikov : + 21:52:09 От korolev : + 21:52:10 От Анатолий : + 21:52:16 От Vitaly Yushkevich : Проблема понятна. А как в итоге решили?) 21:52:17 От Kirill Amurskiy : почему блокировку нельзя было в кэше? 21:53:31 От Vitaly Yushkevich : условно, вынесли «реплику» данных в отдельный сервис и делали фичу с другого сервиса? 21:53:45 От Леонид Черненко : То есть отделили от основного приложения? 21:55:02 От Kirill Amurskiy : а как удалось в тарантуле не делать такие же запросы как в MySQL? 21:56:11 От Kirill Amurskiy : а почему нельзя было оптимальные запросы в MySQL сделать? 21:56:39 От Kirill Amurskiy : угу 21:56:49 От Леонид Черненко : Эти Lua скрипты отправляются из клиентском кода исходниками или как "хранимые процедуры"? 21:56:57 От Леонид Черненко : Сорри за офтоп 21:57:35 От Dmitriy Shitikov : а если тарантул инмемори и основное хранилище данных, то что делать при падении? все данные пропадают 21:57:56 От Kirill Amurskiy : просто по опыту писал "неблокирующий супер кэш", тестировал сервис с кэшем (БД MySQL), производительность отличалась в 40% всего. MySQL закэшировала все в памяти и работала очень хорошо. 21:58:54 От Ивченков : + 21:58:55 От Kirill Amurskiy : еще раз) 21:58:57 От korolev : + 21:58:58 От Sergey : + 21:59:12 От Леонид Черненко : В Yii так сделано, по тегам инвалидация есть 22:00:19 От Vitaly Yushkevich : Redis точно умеет с тегами работать. Memcache тоже? 22:00:36 От Sergey : Мемкеш может 22:01:52 От Леонид Черненко : У Редиса файл .rdb единый вроде 22:02:04 От Леонид Черненко : Есть что-то почитать по тегам? 22:02:58 От Ивченков : Знакомая картинка. На уроке по шардированию подобное было. 22:03:16 От Kirill Amurskiy : повторение 22:04:05 От Леонид Черненко : так как кеш необязателен 22:04:14 От Леонид Черненко : в отличие от шарда 22:04:16 От Kirill Amurskiy : это для шардирования кэшей? 22:05:26 От Леонид Черненко : - 22:05:27 От Dmitriy Shitikov : - 22:05:30 От Ивченков : - 22:05:31 От korolev : - 22:05:33 От Sergey : - 22:05:43 От Kirill Amurskiy : а можно же просто один сервер в 10 мест разместить 22:06:10 От Kirill Amurskiy : + 22:06:13 От Vitaly Yushkevich : + 22:06:23 От Kirill Amurskiy : + 22:06:25 От korolev : + 22:07:09 От Леонид Черненко : ооо 22:07:11 От Ивченков : + 22:07:15 От Kirill Amurskiy : жесть 22:07:23 От Леонид Черненко : понял, в остальных по три сервера будет 22:07:36 От Леонид Черненко : в остальных кольцах 22:07:43 От Vitaly Yushkevich : А если мы просто равномерно распределим данные с этого сервера на остальные без учета внутренних колец? 22:07:50 От Kirill Amurskiy : это n*log(n) таких колец надо в худшем случае 22:07:57 От Kirill Amurskiy : если все сервера по одному отваливаются 22:08:58 От Vitaly Yushkevich : я правильно понял идею, что мы «размечаем» сразу данные, куда в случае чего их переносить?) 22:09:09 От Kirill Amurskiy : а библиотека надо чем? 22:09:12 От Vitaly Yushkevich : И когда сервер отваливается, мы сразу переносим 22:11:06 От Dmitriy Shitikov : а для postgresql? 22:11:16 От Ивченков : А не все строки можно реплицировать?) 22:12:17 От Sergey : Что с ромашкой? 22:12:28 От Sergey : дз* 22:12:28 От Леонид Черненко : домашкой 22:12:37 От Sergey : Будет? 22:13:04 От Андрей : можно тарантулом полностью заменить рел. базу? 22:13:12 От Kirill Amurskiy : нормальная домашка - "не писать кэши" 22:13:45 От Андрей : ничоси 22:14:42 От Леонид Черненко : Было интересно, спасибо ) 22:14:43 От Андрей : спасибо 22:14:45 От Dmitriy Shitikov : спасибо 22:14:46 От Sergey : отдельное спасибо за правило№1 22:14:46 От korolev : спасибо 22:14:46 От Юрий Монзиков : Спасибо 22:14:49 От Vitaly Yushkevich : спасибо 22:14:50 От Kirill Amurskiy : спасибо" 22:14:51 От Kirill Amurskiy : ! 22:14:53 От Alexey Kryachko : Спасибо