Categories - ML

31 posts in total

ML | Optimizer | SGD, Momentum, AdaGrad, RMSProp, Adam Optimizer

Optimizer In machine learning, an Optimizer is the "engine" that minimizes the loss function. It updates the weights and biases of a model based on the gradients calculated during backpropagation. The

2026-01-14

#AI #ML #pytorch #Optimizer #SGD #Momentum #AdaGrad #RMSProp #Adam

ML | NVIDIA Modulus

NVIDIA Modulus Modulus is an open source deep-learning framework for building, training, and fine-tuning deep learning models using state-of-the-art Physics-ML methods. Whether you are exploring the u

2025-02-21

#WRF #MPAS #NWP #PINN #AI #DeepONet #ML

ML | AnythingLLM + Ollama

What is AnythingLLM? https://docs.useanything.com/introduction AnythingLLM is the easiest to use, all-in-one AI application that can do RAG, AI Agents, and much more with no code or infrastructure h

2025-02-04

#AI #ML #Ollama #AnythingLLM

ML | Ollama

Ollama Ollama是一個開源工具，旨在直接在本地機器上運行大型語言模型（LLMs），增強用戶的隱私和性能。它使開發者、研究人員和企業能夠利用強大的人工智能模型，而無需依賴基於雲的解決方案，從而保持對數據的完全控制並降低與外部伺服器相關的潛在安全風險。 Ollama的主要特點本地執行：Ollama使得在本地執行LLMs成為可能，這減輕了隱私問題並增強了數據安全性。這意味著用戶不需要將敏感

2025-01-30

#AI #ML #Ollama

ML | DeepSeek

DeepSeek (深度求索)，全稱杭州深度求索人工智能基礎技術研究有限公司，是中國的一家人工智能與大型語言模型公司。該公司的總部位於中國大陸浙江省杭州市，由中資對沖基金幻方量化創立，創始人和行政總裁為梁文鋒。DeepSeek因其在推理任務上的表現與OpenAI的ChatGPT相當，但開發成本和資源消耗卻僅為其一小部分而受到廣泛關注。 DeepSeek Model DeepSeek-R1 and

2025-01-30

#NWP #AI #ML #deepseek

ML | Transformer | Attention, FFN, ResNet

"Attention is all you need" (2017) Vaswani, A. (2017). Attention is all you need. Advances in Neural Information Processing Systems. Encoder層和Decoder層內部結構如圖所示。 Encoder具有兩層結構，self-attention和前饋神經網路。

2025-01-30

#NWP #AI #ML #ResNet #RNN #Transformer #Attention #FFN

ML | Frequentist and Bayesian (頻率派和貝葉斯派)

貝葉斯派和頻率派。在學習機器學習的過程中，應該聽過很多次這兩個專業詞彙，剛開始學不用過於深究，這不會影響你學習各種模型，當你了解完很多模型演算法後，再回過頭來看貝葉斯派和頻率派，就會有種醍醐灌頂的感覺，你在每種模型上都可以找到它們的哲學思想、方法論。貝葉斯公式： $P(\theta|x)=\frac{P(x|\theta)P(\theta)}{P(x)}$ 先驗機率指的是 \(P(\the

2025-01-30

#NWP #AI #ML

ML | RNN Recurrent Neural Network

循環神經網路（recurrent neural network，RNN) RNN是一種特殊的神經網路結構，它透過在時間上的展開來處理序列資料中的依賴關係。在每個時間步（time step），RNN都會接收一個輸入（例如句子中的一個單字），並輸出一個結果（例如下一個單字的預測）。與傳統的前饋神經網路（Feedforward Neural Network, FNN）不同，RNN在每個時間步都會保留一個

2025-01-28

#NWP #AI #ML #RNN

ML | ResNet

殘差網路概述殘差神經網路（Residual Neural Network，簡稱 ResNet ）是一種深度學習模型，旨在解決傳統深度神經網路中常見的梯度消失和梯度爆炸問題。這種網路的核心理念是讓每一層學習與輸入之間的殘差，而非直接學習預期的輸出。這樣的設計使得訓練更深層的模型變得更為有效，並且在增加層數時能保持甚至提高準確率。 ResNet 透過殘差學習解決了深度網路的退化問題，讓我們可以訓

2025-01-26

#NWP #AI #ML #ResNet

ML | VAE Variational Auto-Encoder

基礎知識回顧 Latent Variable Variations Gaussian Mixture Model Gaussian Mixture Model，即高斯混合模型。生成模型比較主流的三個模型為：隱馬可夫模型HMM、樸素貝葉斯模型NB、高斯混合模型GMM。這裡我們主要為大家介紹GMM。混合模型是一個可以用來表示在總體分佈中含有N個子分佈的機率模型，它表示了觀測資料在總體中的機率分

2025-01-26

#NWP #AI #ML #VAE #Auto-Encoder #Generative AI

ML | ECMWF | Anemoi

Anemoi Anemoi is a collaborative and open-source framework for developing machine learning weather forecasting models. Named after the Greek gods of the winds, the goal of Anemoi is to provide the key

2025-01-25

#NWP #ECMWF #AI #ML #Anemoi

ML | set CUDA_HOME in a conda environment

set CUDA_HOME in a conda environment 123456micromamba install -c conda-forge cudatoolkit-devwhich nvccnvcc --versionecho $CUDA_HOMEexport CUDA_HOME=$CONDA_PREFIXecho $CUDA_HOME References How to set

2025-01-22

#AI #ML #pytorch #NVIDIA #CUDA

ML | Time Series

Conda env is built as, 12345678910micromamba env create -n MLmicromamba activate MLmicromamba install python==3.10micromamba install pytorch torchvision torchaudio pytorch-cuda=12.4 -c pytorch -c nvid

2025-01-13

#AI #ML #pytorch

ML | stable-video-diffusion-img2vid-xt

stable-video-diffusion-img2vid-xt Stable Video Diffusion (SVD) Image-to-Video is a diffusion model that takes in a still image as a conditioning frame, and generates a video from it. Stable Video Diff

2025-01-10

#AI #ML #pytorch #LLM #huggingface #stable-video-diffusion

ML | stable-diffusion

stable-diffusion-xl-base-1.0 https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0 The stable-diffusion-xl-base-1.0 is a text-to-image generative model developed by Stability AI. Inputs

2025-01-09

#AI #ML #pytorch #LLM #huggingface #stable-diffusion

ML | huggingface

Conda env 123456789# check CUDA Version:$ nvidia-smimicromamba env create -n huggingfacemicromamba activate huggingface micromamba install python==3.10micromamba install pytorch torchvision torchaudio

2025-01-08

#AI #ML #pytorch #LLM #huggingface

ML | Scaling Law

Scaling Law In machine learning, a neural scaling law is an empirical scaling law that describes how neural network performance changes as key factors are scaled up or down. These factors typically in

2025-01-08

#AI #ML #pytorch #LLM

ML | GPU Memory for ML model

GPU Memory you need to serve any ML models System Memory (RAM) is not ideal for this purpose because it is slower than GPU memory. GPU memory, also known as VRAM (Video Memory) or GDDR (Graphics DDR),

2025-01-07

#AI #ML #pytorch #NVIDIA

ML | PINN | DeepXDE

DeepXDE DeepXDE 是一款开源且高度模块化的科学计算工具，以深度学习为核心，提供多种数据、物理机理及数理融合的模型，如PINN、DeepONet、MFNN等，同时支持多种类型微分方程，如常微分方程、偏微分方程的定义及求解，可有效解决复杂科学计算问题。基于所提供的深度学习求解模型，DeepXDE具备以下典型的功能特点：高度模块化：DeepXDE提供多种支持调用、组合的模块，如计算域

2025-01-03

#PINN #AI #DeepONet #ML #DeepXDE

ML | CorrDiff (NVIDIA)

News 生成式AI與傳統數值天氣預報的結合NVIDIA CorrDiff天氣降尺度模型 | 科學月刊 | 2024-07-15 輝達（NVIDIA）執行長黃仁勳今（2024）年3月在美國舉辦的GTC（GPU technology conference）大會及6月在臺灣舉辦的臺北國際電腦展（COMPUTEX）上，皆展示了一項稱為「CorrDiff」（ Corrector Diffusion ）

2025-01-02

#AI #ML #pytorch #Diffusion #UNet #NVIDIA