![I spent years building a 103B-token Usenet corpus (1980–2013) and finally documented it [P]](/fallback/opinions-parchment-2.jpg)
For the past several years I've been quietly assembling and processing what I believe is one of the larger privately held pretraining corpora around... a complete Usenet archive spanning 1980 to 2013. Here's what it ended up being: 103.1 billion tokens (cl100k_base) 408 million posts across 9 newsgroup hierarchies 18,347 newsgroups covered 33 years of continuous coverage The processing pipeline included full deduplication, binary removal (alt.binaries.* excluded at the hierarchy level
欸你知道嗎，OpenAI 最近要辦一場直播活動。雖然現在還不知道會講什麼，但根據他們過去的習慣，通常直播就代表有新東西要發表。可能是 ChatGPT 的新功能、新模型，或者什麼其他猛的東西。反正 OpenAI 的直播從來不會無聊，有興趣的話可以追蹤一下，說不定又會有什麼改變遊戲規則的公告。
The last time OpenAI did an unannounced livestream, they dropped GPT-4 Turbo and changed pricing overnight
欸你知道嗎，ChatGPT 的畫圖功能出新版本了！OpenAI 推出 ChatGPT Images 2.0，聽說生成圖片的品質和功能都有大幅進步。如果你有在用 AI 畫圖，或是一直想試試看的話，現在正好可以看直播了解新功能是什麼。簡單來說就是 AI 畫圖又更強了，說真的有點扯。想看現場演示的話，直接上 https://openai.com/live/ 就能看直播。
OpenAI is positioning this as a direct competitor to established image generation tools, suggesting they're confident enough to challenge the current market leaders
欸你知道嗎，整個2025年，只要有人說AI有問題，大家就會說「別急，再等3到6個月，下一版本就會完美解決」。這套說詞真的到處都是——什麼功能不夠、什麼做不到，通通都說「這只是暫時的，馬上就會改進」。那些自主AI助手的展示影片更是被吹得天花亂墜，好像明天就要改變世界一樣。 結果現在已經2026年4月了，該檢驗一下去年那些承諾有沒有兌現。Reddit上ClaudeAI社群這週炸裂了，一堆人在討論最新的Opus 4.7版本，結論是：「這根本是退步啦」。說真的，去年那套「再等等」的論調現在看起來有點傻。
欸你知道嗎，有人在 AMD 最新的 Strix Halo 筆電晶片上試著跑 Mistral Medium 3.5 這個大型 AI 模型，結果超慘。一個簡單的程式碼問題，光是讓 AI 思考和回答就花了 2 小時。沒騙你，真的 2 小時。這就像是你問 ChatGPT 一個問題，結果要等到隔天早上才有答案，只不過這次是在你自己的筆電上發生。雖然他們已經用了各種優化技巧（什麼量化啦、GPU 加速啦），但還是快不起來。簡單來說就是，如果你想在筆電上跑這麼大的 AI 模型，現在還不是時候。除非你不介意每次都要等個幾小時。