ChatGPTに機械学習について質問したとき、その答えがどこから来たのか疑問に思ったことはありませんか？このプロジェクトは、RAG（検索拡張生成）技術を使ってドキュメントから実際の情報を先に取得し、その後あなたの質問に答えるAI家庭教師を構築しています。さらに、その答えがどこから来たのかを正確に示してくれます。LangChainでプロセスを調整し、ChromaDBで知識を保存し、Hugging Faceの埋め込みモデルで意味を理解し、Groqの大規模言語モデルで高速に応答します。つまり、AIアシスタントに推測させるのではなく、教科書を参考資料として与えるようなものです。機械学習やディープラーニングを学んでいて、検証可能な信頼できる答えが欲しい場合、このツールは非常に実用的です。
MicrosoftのTRELLIS.2をApple SiliconでPyTorch MPSを使って動かせるようにしました。元のバージョンはCUDA専用の5つのコンパイル済み拡張機能（flex_gemm、flash_attn、o_voxel、cumesh、nvdiffrast）に依存していて、Macには対応版がありません。ゼロから代替バックエンドを作成しました：純粋なPyTorchの疎3D畳み込み（flex_gemmの代替）、空間ハッシュを使ったPythonメッシュ抽出（o_voxelのCUDAハッシュマップ操作の代替）、疎Transformerの注意機構（flash_attnの代替）、GPU加速三線形補間（cumeshとnvdiffrastの代替）です。
マイクロソフトの TRELLIS.2（40 億パラメータの画像から 3D へのモデル）を Apple Silicon 上で PyTorch MPS を使ってネイティブ実行するようにポートしました。元のバージョンは CUDA、flash_attn、nvdiffrast、カスタム疎畳み込みカーネルが必要でしたが、これらは Mac では動作しません。CUDA 固有の操作を純粋な PyTorch の代替案に置き換えました。具体的には、gather-scatter 疎 3D 畳み込み、疎 Transformer 用の SDPA アテンション、CUDA ハッシュマップ操作を置き換える Python ベースのメッシュ抽出です。合計 9 ファイルで数百行の変更を加えました。
M5 Proマシンに24GBのメモリを搭載しているユーザーが、Ollamaを使ってQwen 3.6の大規模言語モデル（LLM）を実行したいと考えています。Q4量子化（4ビット量子化）を使うべきか迷っていますが、適切なQ3量子化ソリューションが見つかりません。ハードウェアで快適に動作しながら、モデルの品質を過度に損なわないバージョンについて、アドバイスを求めています。