TwentyTwentyOne

🏭 IoT Anomaly Detection with Bayesian Forecasting in JAXIndustrial IoT systems generate continuous streams of sensor data — temperature, vibration, pressure, energy usage.Detecting anomalies in these time series is critical for predictive maintenance, safety, and cost optimization.Traditional threshold-based methods are fragile under noisy conditions.👉 By combining Bayesian forecasting with JA..

🌪 Market-Wide Stress Testing with Bayesian GNNs in JAXSo far, we’ve:Built Bayesian portfolio forecastersIncorporated risk metrics (VaR & CVaR)Modeled sector-level dependencies with GNNsNow we’ll do what risk managers love:👉 Stress testing — simulate shocks (like oil price crashes or banking crises) and watch risk propagate through the market graph.🧠 Why Stress Testing?Scenario Risk Implicatio..

🔗 Graph Neural Networks for Sector-Level Stock Forecasting in JAXIn the last post, we quantified risk (VaR & CVaR) from Bayesian forecasts.But one big limitation remains:👉 Our models still assume assets are independent or only weakly correlated.In reality:AAPL and MSFT move together (tech sector).Energy stocks correlate with oil prices.Banking stocks move with interest rates.To capture this, w..

[쿼리 최적화 시리즈 番外편 16] 실시간 스트리밍 쿼리 최적화 – Kafka, Flink, Spark Streaming지금까지는 정적 데이터(배치 처리) 위주로 최적화를 다뤘습니다.하지만 요즘 서비스는 로그, 클릭, IoT 데이터처럼 실시간 스트리밍 데이터를 처리해야 합니다.이때 필요한 게 바로 스트리밍 쿼리 최적화입니다.📌 1. 스트리밍 쿼리의 특징데이터가 무한 스트림 형태로 들어옴배치처럼 전체 집계 불가능 → Window 연산 사용지연(latency) vs 처리량(throughput) 트레이드오프📌 2. Kafka 기반 최적화Kafka는 데이터 파이프라인으로 활용최적화 포인트:Topic 파티션 수 조정 → 병렬 처리량 증가Consumer Group 활용 → 구독자 분산Compaction Log ..

[쿼리 최적화 시리즈 番外편 15] NoSQL에서의 쿼리 최적화 전략“SQL 기반 DB만 최적화하면 되는 거 아냐?”실제로는 MongoDB, Cassandra, DynamoDB 같은 NoSQL DB도대규모 서비스에서 광범위하게 쓰입니다.그런데 NoSQL은 인덱스/조인/트랜잭션 구조가 SQL과 달라서최적화 전략도 완전히 달라집니다.📌 1. MongoDB 쿼리 최적화인덱스 설계단일/복합 인덱스, Sparse Index, TTL Index 적극 활용db.collection.explain("executionStats").find({...}) 로 쿼리 플랜 확인Projection 사용필요한 필드만 가져오기 (find({}, {name:1, age:1}))Aggregation 최적화$match → $group →..

📉 Risk Management with Bayesian Forecasting in JAX – VaR and CVaRForecasting stock returns is one thing.But managing risk is where Bayesian probabilistic forecasts really shine.👉 Today, we’ll compute Value at Risk (VaR) and Conditional VaR (CVaR) from our Bayesian forecasts.🧠 What Are VaR and CVaR?Value at Risk (VaR) at confidence level α = maximum expected loss not exceeded with probability ..

[쿼리 최적화 시리즈 番外편 14] 인덱스 설계 마스터 가이드“인덱스를 걸었는데 왜 속도가 안 빨라지죠?”인덱스는 쿼리 최적화의 기본이지만,잘못 설계하면 오히려 성능을 망치는 원인이 됩니다.오늘은 인덱스의 종류와 설계 전략을 총정리합니다.📌 1. 인덱스의 기본 동작인덱스는 데이터 검색을 빠르게 하기 위한 자료구조대부분의 RDB는 B-Tree 인덱스를 사용인덱스가 있으면 WHERE, JOIN, ORDER BY가 빨라짐하지만 INSERT/UPDATE/DELETE 비용은 증가📌 2. 인덱스의 종류단일 인덱스 (Single Column)가장 기본형, 컬럼 하나에 인덱스예: CREATE INDEX idx_user_id ON users(user_id);복합 인덱스 (Composite Index)여러 컬럼 조합예..

💼 Multivariate Bayesian Portfolio Forecasting with JAXIn the last post, we built a Bayesian forecaster for one stock (AAPL).But investors rarely care about a single ticker — portfolios matter.👉 Today, we’ll forecast multiple correlated stocks (AAPL, MSFT, AMZN) using a multivariate Bayesian model.📊 Step 1: Load Portfolio Dataimport yfinance as yfimport pandas as pdtickers = ["AAPL", "MSFT", "..

[쿼리 최적화 시리즈 番外편 13] 데이터 웨어하우스 최적화 – Redshift, BigQuery, SnowflakeETL을 거쳐 쌓인 데이터는 결국 **데이터 웨어하우스(DW)**에 저장됩니다.그런데 웨어하우스에 수십억 건의 데이터가 쌓이면,단순 쿼리 하나에도 수 분이 걸리는 병목이 발생하죠.오늘은 대표적인 DW 서비스(📌 Redshift, BigQuery, Snowflake)에서의쿼리 최적화 전략을 정리합니다.📌 1. 공통 최적화 원칙Columnar Storage(열 지향): 필요한 컬럼만 읽도록 설계Partitioning: 날짜/지역/사용자 기준 분할Clustering: 자주 필터링되는 컬럼을 기준으로 물리적 정렬Materialized View: 반복적인 쿼리 사전 계산Result Cache: ..

💹 Bayesian Time Series Forecasting with JAX – Stock Market Case StudyWe’ve built, scaled, and deployed Bayesian forecasting systems with JAX.Now let’s apply these techniques to one of the most challenging domains:👉 Financial stock forecasting.📊 Dataset: Stock Prices (Yahoo Finance)We’ll use daily stock prices for a major ticker (e.g., AAPL).import yfinance as yfimport pandas as pddf = yf.down..