Оптимизация запросов к Hive TEZ

Рассмотрим несколько вариантов улучшения производительности и оптимизация запросов к Hive. Если не заниматься этим вопросом, то даже простые запросы select к относительно небольшим таблицам будут рассчитываться несколько минут. Один раз я ожидала 7 часов расчет запроса с одной-единственной оконной функцией. Однако, следуя некоторым советам, можно ускорить расчеты на 50% и более. Все советы взяты из […]

Цифровой минимализм

Проблема прокрастинации в смартфоне не нова и стабильно захватывает мир. Все больше людей сидят в телефоне без особой цели, а в дальнейшем жалуются на нехватку времени. Есть немало людей, озабоченных этой проблемой, и автор книги — один из них. Он предлагает теорию цифрового минимализма, следуя которой можно сократить время на бездумное зависание и улучшить качество […]

Будь лучшей версией себя

Пишу честно — от этой книги ожидала намного большего, чем по факту получила. Исходя из названия я предполагала, что книга будет о том, как с каждым днем становиться лучше себя вчерашнего. Нет, она про экстраординарных людей. Для меня, человека неэкстраординарного, и, более того, не стремящегося к экстраординарности, книга показалась противоречащей установкам о счастливой повседневной жизни. […]

Где порешать алгоритмические задачи на Python?

Для проверки и оттачивания навыков программирования программисты частенько решают разнообразные программистские задачи. Отличный сайт для этого — https://leetcode.com/ (рекомендовано Yandex.HR). Требует регистрации по email.

Онлайн-эмуляторы SQL

Время от времени появляется потребность проверить или улучшить свои знания SQL. В этом могут помочь разнообразные сервисы, в которых предоставляют как задачи, так и эмуляторы SQL для проверки своих запросов. Свою-то базу данных поднимать совсем не хочется.

Интенсив по созданию чата от SkillBox. Пройдено.

В качестве нового варианта продвижения своих услуг SkillBox теперь проводит бесплатные трехдневные интенсивы по разработке небольших приложений. Для меня родным стал Python, так что я соблазнилась на интенсивчик по созданию мини-чата на Python ( https://webinar.skillbox.ru/messenger-python/) с преподавателем Артёмом Манченковым. Видела еще рекламу интенсива по созданию подборщика паролей.. но подборщика не хочу 🙂

Хакатон по BI от myBI Connect

В ноябре-декабре ребята из myBI Connect (у них еще классный блог) организовали свой первый хакатон на тему BI-аналитики. Мы с коллегами (Сергей Чипкин и Илья Карабаев) поучаствовали в этом мероприятии и заняли почетное третье место. В этом посте хотелось бы поделиться своими впечатлениями от хакатона. Если кратко: было весело 🙂

Статистические поправки для мульти-вариантных тестов. Часть 2. FDR

Поскольку процедуры контроля FWER достаточно «жесткие», статисты пытались придумать что-нибудь еще, но в итоге доказали, что более мощных процедур для FWER построить нельзя: Без дополнительных предположений нельзя построить более мощную процедуру, чем метод Холма При независимости экспериментов нельзя построить более мощную процедуру, чем метод Шидака-Холма Зато можно сделать мощную процедуру для FDR — и, как […]

Статистические поправки для мульти-вариантных тестов. Часть 1. FWER.

В случае проведения A/B/../N теста возникает проблема множественной проверки гипотез. Грубо говоря, если мы фиксируем уровень значимости как 0.05, то вероятность ошибки первого года (отклонение верной нулевой гипотезы) будет 5%. И если мы проводим сотню таких экспериментов, то раз 5 мы получим ошибочное принятие альтернативы. Такие проблемы возникают, например, если мы проверяем у людей наличие […]