TwentyTwentyOne

💹 Bayesian Time Series Forecasting with JAX – Stock Market Case StudyWe’ve built, scaled, and deployed Bayesian forecasting systems with JAX.Now let’s apply these techniques to one of the most challenging domains:👉 Financial stock forecasting.📊 Dataset: Stock Prices (Yahoo Finance)We’ll use daily stock prices for a major ticker (e.g., AAPL).import yfinance as yfimport pandas as pddf = yf.down..

[쿼리 최적화 시리즈 番外편 12] ETL 최적화 – 대용량 데이터 파이프라인을 더 빠르게 OLAP/OLTP를 나눠봤다면 이제 자연스럽게 나오는 주제가 있습니다.바로 ETL(Extract, Transform, Load) 과정의 최적화입니다.대규모 데이터를 매일/매시간 옮기고 가공하는 ETL 단계에서 병목이 생기면,쿼리 최적화 효과가 무력화되기 때문이죠.📌 1. ETL이란?Extract: 원천 시스템에서 데이터 추출 (DB, API, 로그)Transform: 정제, 가공, 집계Load: 목적지(데이터 웨어하우스/데이터 레이크) 적재📌 2. ETL 병목 구간대용량 SELECT 추출풀스캔 → 인덱스 활용 못 하면 성능 급락복잡한 Transform중복 JOIN, 불필요한 CASE WHEN, 중첩 서브쿼리Lo..

⚡ Scaling Bayesian Time Series Forecasting with JAX on GPU/TPU for Real-Time InferenceSo far, we’ve deployed Bayesian forecasters with FastAPI + Docker and set up MLOps monitoring.But when latency matters — e.g., real-time energy forecasting or high-frequency trading — CPUs aren’t enough.👉 We need GPU/TPU acceleration in production.🧭 Why GPU/TPU for Time Series?Use Case Why Acceleration HelpsR..

🔄 MLOps for Bayesian Time Series Forecasting with JAXWe’ve built powerful Bayesian forecasting models and deployed them with FastAPI + Docker.Now comes the hard part: keeping them accurate and reliable in production.This post covers an MLOps workflow tailored for Bayesian time series forecasting.🧭 The Challenges in ProductionChallenge Why It MattersData DriftInput distribution changes over tim..

[쿼리 최적화 시리즈 番外편 12] ETL 최적화 – 대용량 데이터 파이프라인을 더 빠르게OLAP/OLTP를 나눠봤다면 이제 자연스럽게 나오는 주제가 있습니다.바로 ETL(Extract, Transform, Load) 과정의 최적화입니다.대규모 데이터를 매일/매시간 옮기고 가공하는 ETL 단계에서 병목이 생기면,쿼리 최적화 효과가 무력화되기 때문이죠.📌 1. ETL이란?Extract: 원천 시스템에서 데이터 추출 (DB, API, 로그)Transform: 정제, 가공, 집계Load: 목적지(데이터 웨어하우스/데이터 레이크) 적재📌 2. ETL 병목 구간대용량 SELECT 추출풀스캔 → 인덱스 활용 못 하면 성능 급락복잡한 Transform중복 JOIN, 불필요한 CASE WHEN, 중첩 서브쿼리Loa..

[쿼리 최적화 시리즈 番外편 11] OLAP vs OLTP – 쿼리 최적화의 두 세계데이터베이스 쿼리에도 “성격”이 있다는 걸 아시나요?우리가 최적화해야 하는 쿼리가**실시간 서비스용(OLTP)**인지,아니면 **분석용(OLAP)**인지에 따라최적화 전략은 완전히 달라집니다.📌 1. OLTP (Online Transaction Processing)특징다수의 짧은 트랜잭션 (INSERT, UPDATE, DELETE, SELECT)높은 동시성, 빠른 응답 시간 요구데이터 정합성 보장(ACID)대표 사례쇼핑몰 주문은행 계좌 이체SNS 글 작성쿼리 최적화 전략인덱스 튜닝 (B-Tree, Hash Index)읽기/쓰기 분리 (Master-Replica)캐싱(Redis) 적극 활용샤딩 & 파티셔닝 적용📌 2. ..

🌐 Deploying Bayesian Time Series Forecasting with JAX, FastAPI, and DockerIn the last post, we built a Bayesian LSTM forecaster for energy demand data.Now, let’s turn it into a production-ready API that can:Serve forecasts in real timeReturn uncertainty intervalsRun inside a Docker container🧱 Step 1: Save Model ParametersAfter training, save your model state:import orbax.checkpoint as ocp# Sav..

[쿼리 최적화 시리즈 番外편 10] CQRS + Event Sourcing 실전 적용지난 글에서 CQRS(읽기/쓰기 분리)와 Replication을 다뤘습니다.그런데 더 나아가면, 단순한 분리만이 아니라모든 상태 변화를 이벤트로 기록하고,이를 기반으로 읽기 모델을 만들어내는 방식이 있습니다.이게 바로 CQRS + Event Sourcing 조합입니다.📌 1. Event Sourcing이란?시스템 상태를 DB 스냅샷으로 직접 저장하지 않고,**“이벤트(event)의 흐름”**으로 기록하는 방식예:UserCreated(id=1, name="Alice") UserNameChanged(id=1, newName="Bob")현재 상태는 이벤트들을 재생(replay) 해서 얻음📌 2. CQRS와의 결합Comman..

⚡ Real-World Bayesian Time Series Forecasting with JAX – Energy Demand Case StudySo far, we’ve built:Deterministic forecasters (LSTM, Transformer, TFT)Probabilistic models (Gaussian Likelihood, Quantile Regression)Bayesian approaches (MC Dropout, Variational Inference, SVI)Now let’s apply these ideas to a real-world dataset: electricity demand forecasting.📊 Dataset: UCI Energy Load ForecastingW..

⚡ Scaling Bayesian Time Series Forecasting with SVI in JAXIn the last post, we built a Bayesian Neural Network with Variational Inference.It worked, but training on large time series datasets can be painfully slow.That’s where Stochastic Variational Inference (SVI) comes in — a scalable Bayesian inference method that uses mini-batches and stochastic optimization.🧠 Why SVI for Time Series?Challe..