Это разве аналитика?

Привет, я Андрей @ab0xa, bi / de / java dev Анализ данных и визуализация, интересные ссылки, вакансии, уроки, юмор) и личный опыт Стек технологий Python, Java, SQL, Tableau, Knime, Yandex.Облако, Yandex DataLens

Последние посты

23 октября в 04:28

Фото: 2

DuckDB 2.0 ⚡️ Async I/O: S3 в 2–3 раза быстрее Раньше каждый поток по очереди качал данные и декодировал их, поэтому CPU простаивал, пока ждал сеть. Теперь отдельный пул заранее подгружает row groups, а воркеры только декодируют. Запрос к 2,2 ГБ Parquet: 18,8 с → 7,7 с. Включено по умолчанию, в коде ничего менять не нужно (read_ahead_depth). Тысячи мелких файлов по 1 МБ это не спасёт, так что фундамент всё ещё важен. 🌳 Рекурсивные CTE: глубокие иерархии летают Раньше на каждом шаге рекурсии таблица перечитывалась целиком. Теперь она читается один раз, а дальше идут точечные lookup'ы. Обход истории из 20 000 коммитов: было от 1,8 до 16 с, стало 0,1 с. Хорошо подходит для git-истории, lineage, тредов и BOM. Для неглубокой оргструктуры разницы почти не будет. 📦 VARIANT вместо JSON JSON-поля с постоянной структурой автоматически раскладываются в настоящие колонки (shredding), а остальное хранится бинарным хвостом. Результат: в 2,7 раза меньше места, чем у JSON-строки, и фильтры примерно в 6 раз быстрее, почти как у типизированных колонок. Есть нюанс: касты списков пока медленные, а поле, которое то число, то строка, в колонку не попадёт.

Telegram MAX

О канале «Это разве аналитика?»

«Это разве аналитика?» - канал из категории «Бизнес», подключенный к сервису кросспостинга MaxGate. Публикации канала синхронизируются между Telegram и мессенджером MAX, а на этой странице собраны ссылки на обе версии канала.

Сейчас у канала 4 635 подписчиков суммарно в Telegram и MAX. За последние 22 дня в истории MaxGate учтено 15 публикаций, поэтому перед подпиской можно оценить не только размер аудитории, но и регулярность обновлений.

Чтобы подписаться, используйте кнопки «Открыть в MAX» и «Открыть в Telegram» в верхней части страницы. У отдельных постов ссылка может быть доступна в обоих мессенджерах или только в одном из них, если MaxGate получил такой URL из истории обработки.

13 октября в 06:25

Фото: 4

Бегство от ИИ занесло на остров Скай. Завтракаю в этой глуши перед алко-хайкингом (это когда хочется и по горам и по виски угореть, а времени мало) - две британские пенсионерки за соседним столом со знанием дела обсуждают секьюрити инциденты с Gemini у себя в компании. Раз побег в полной мере не удался, дописываю пост с рефлексией про builder команды, тему волнующую нас в Авито: Тех компаниям по сути в ии трансформации главное, чтобы фичи катились в прод быстрее. 2025-й: на AI все смотрели как усилителя ролей. Каждый на своём месте делает больше и быстрее. аналитик - ресерчи и отчеты, инженер - код. Но все уперлось в коммуникации: оказалось на длинной фабрике фичей 10+ межролевых стыков, и ускорение каждого этапа по отдельности не сокращает общую длительность. Эффективности на каждом этапе стало больше, но до прода фичей доезжает +-столько же. 2026-й: на AI начали смотреть как T-shape фактор. Раз узкое место - стыки, уберём стыки: сблендим роли и сократим их число на главном пути от гипотезы до раскатки. Появились термины builder-команды и продуктовых инженеров (основные кандидаты в них - продакты, аналитики и тех) По теме - расследование Reuters про Project OT в Мете - доклад Саши Лукьянченко про AI в разработке в Авито - подкаст с Сашей Поломодовым про AI в разработке в Т-Банке. Мета ушла дальше всех. Project OT: команда из 10–20 человек (инженер, QA, продукт, дизайнер, DS, UX, аналитик, data engineer) схлопывается в 3–5 «билдеров» + 1 direction lead. Специалисты вынесены в общий пул. Слой миддл-менеджмента срезается. Через полгода: - изменений кода +220% год к году, - фич, доехавших до пользователей +36%, - крупных инцидентов +40%, - времени на их тушение +70%. Пилоты показывают проблемы. И много 1. Качество гейтов и скиллов пока низкое. Агенты совершают «масштабные разрушительные действия, которые человек вряд ли бы совершил». Получилась автоматизация с потерей контроля. Дали билдеру катить в прод без ревью (или с лайт гейтом) - подняли личный риск сотрудника, не подняв полномочий и компенсации. 2. Замеряются метрики потока (ttm и инкременты), а просаживаются метрики накопления долга рядом с потоком. Мета оптимизировала поток, но получила +40% инцидентов и +70% firefighting. Лаг для деградации кодовой базы может быть более отсроченным. Тем дороже откатиться. 3. Discovery - новый боттлнек. Если процесс discovery не менялся, то ускорение раскатки фичей вытягивает задачи из нижней части беклога. Полезность убывает, будут делаться nice to have вещи. Cэкономленное время в эффект не конвертируется - работа как газ занимает всё доступное время. Нужно генерировать больше полезных гипотез. 4. Bus-factor усиливается. Уход такого продуктового инженера сильно болезненнее специализированных ролей. Как и онбординг и обучение. Общий вывод - нужно качать качество скиллов и гейтов. Проверки безопасности, надёжности, данных, юристов, бренда, комплаенса и проч нужно зашивать в проверки в цикле разработки. Это тупо сложно. Но сделанные инвестиции в ИИ пушат менеджмент ускоряться. Биай в этом шторме, как ни странно, кажется засекьюрен - разработка дешей переходит в курирование контекста, семантики и датаскиллов для обеспечения аналитических джобов. Кто дочитал до конца - для вас детокс-фото из шотландии. Еще пост Маши про анальные пробки в визуализации данных. Отдыхайте от ИИ новостей, расслабляйтесь.

Telegram MAX