
OpenAI 라이브스트림
OpenAI가 라이브스트림 이벤트를 개최합니다. 방송 중에 구체적인 발표, 신제품 출시 또는 시연이 공개될 예정입니다.
The last time OpenAI did an unannounced livestream, they dropped GPT-4 Turbo and changed pricing overnight

최근에 SCAO(희소 곡률 인식 옵티마이저)라는 2차 옵티마이저를 개발했습니다. LLM을 AdamW로 파인튜닝할 때 초기 수렴이 느린 문제를 해결하기 위한 것이죠. Transformers에 통합하려고 시도했지만 유지보수자들이 PR을 거절했어요. 이유는 "너무 새롭고, 수학이 복잡하며, 커뮤니티 채택 사례가 필요하다"는 것이었습니다. 충분히 타당한 지적이었어요. 그래서 독립 도구로 만들어서 로컬 LoRA 파인튜닝 워크플로우에 바로 적용할 수 있게 했습니다.