블로그Lead Story
루브릭 캘리브레이션이 실제로 재는 것
희곡 대본을 LLM으로 채점하는 도구를 만들다가, 점수보다 점수를 믿을 근거가 먼저라는 걸 알게 됐습니다. 캘리브레이션은 1912년부터 있던 교육측정학 절차였고, 그게 재는 값은 정확도가 아니라 골든셋과의 일치도였습니다. 루브릭과 골든셋을 갈라놓는 순간 설계가 정리됩니다.
- llm
- evaluation
- rubric
Sections
Blog
블로그
가중치 파일에서 RAG까지, LLM을 처음부터 다시 물었다
모델 파일에는 뭐가 들어 있나에서 시작해 양자화, VRAM 계산, 확산 모델, 어텐션과 레이어, 그리고 사내 RAG 챗봇을 프레임워크 없이 짜는 법까지 이어 물어본 내용을 한 번에 정리했습니다. 토큰 임베딩과 문서 임베딩이 서로 만나지 않는다는 사실이 전체를 꿰는 축이었습니다.
- 구축기록
[설계] 학습에 안 쓴다는 약속은 누가 하는가: 구독 CLI로 돌리던 채점기를 공개할 수 있는지 조사했다
어느 파일이 LLM을 부르는지 묻는 것으로 시작해 약관 원문까지 갔다. 구독 자격증명으로 남의 요청을 태우는 것은 명시적으로 금지돼 있었고, 학습 미사용은 구독에서는 내가 끄고 켜는 설정이지만 API에서는 상대가 계약으로 못 하게 돼 있는 조항이었다. 로컬 LLM은 답이 아니었고, 대신 모델을 기록하지 않고 있었다는 구멍을 찾았다.
- 구축기록
[구축] 규칙을 네 번 썼는데 네 번 샜다: 에이전트를 고치는 대신 조건을 없앴다
위키(Confluence)를 붙인 채팅 봇을 하루 동안 40여 개 질문으로 훑었다. 도구 설명에 규칙을 넣는 방식이 네 번 샜고, 그때마다 조건 자체를 없애는 쪽이 한 번에 통했다. 어제 쓴 '스키마를 감췄다'는 결론도 틀렸다. 스키마는 처음부터 오고 있었고 우리가 필드명을 잘못 읽고 있었다.
- 구축기록
[구축] 도구 79개를 2개로 압축한 대가: 스키마를 감추면 모델은 매번 한 번 틀린다
벤더 MCP 도구를 그대로 노출하면 프롬프트가 터지므로 '목록 조회 + 범용 호출' 두 개로 압축했다. 그 대가로 인자 스키마가 사라졌고, 모델은 인자를 매번 한 번 틀린 뒤 오류 메시지로 배운다. 한 라운드에 재시도 9회. 그중 딱 한 번 다운스트림이 200 OK로 조용히 삼켰더니, 모델은 원인을 지어내 사용자에게 관리자 문의를 권했다.
News
오늘의 뉴스
- 생성형 AI
"AI, 내년 말 통제 불가능" 사표 던진 앤트로픽 연구원...'인류 멸망' 경고
앤트로픽 AI 훈련 연구원 제이콥 콕슨이 자가개선 AI 개발 경쟁에 동참하지 않겠다며 퇴사했다고 WSJ가 9일 보도했다. 동료 연구원 에반 휴빙어는 X에 10년 내 AI가 인류를 멸망시킬 확률이 10% 이상이라고 적었다.
머니투데이
- AI 산업
HBM 공급부족에…화웨이도 AI칩 가격 대폭 인상
화웨이가 최근 3개월 새 어센드950DT 가격을 약 60% 올려 개당 25만위안(약 5천만원)에 공급하며 엔비디아 B200 가격에 근접했다. 캠브리콘도 최대 30% 인상을 검토 중이며, 미국의 HBM 수출제한으로 화웨이는 자체 HBM에 의존해 공급이 제한적이다.
한국경제
- IT 전반
개인정보 중대 침해 시 '매출 10%' 철퇴…예방·신속대응엔 감경(종합)
11일 시행되는 개정 개인정보 보호법은 고의·중과실로 반복 침해하거나 1000만명 이상 피해를 낸 기업에 매출 최대 10% 과징금을 부과한다. 반복 위반 가중률은 최대 80%로 오르고, 선제 투자·신속 대응 시 각각 최대 40%까지 감경된다. 유출 가능성은 72시간 내 통지해야 한다.
뉴스1
- 그외 뉴스
[단독] 李대통령 "사법통제부·검사정원 재검토 하라"…공소청 직제안 수정 지시
이재명 대통령이 프랑스 국빈방문 후 귀국해 법무부의 공소청 직제안과 검사정원법 시행령에 대대적 수정·보완을 지시했다. 지방공소청 신설 예정인 사법통제부 명칭이 과하다고 질타했고, 전체 정원은 21.4% 줄지만 검사 정원 2292명은 그대로인 점에 유감을 표했다.
뉴스1
- 생성형 AI
90년 매달린 난제, AI는 단 88시간 만에…좁아지는 '인간의 영역'
오픈AI가 미공개 최신 모델과 AI 에이전트 약 1만개를 동시 투입해 90년간 미해결이던 나비에스토크스 문제를 88시간 만에 증명했다. 이 과정에서 메시지 270만개, 출력 토큰 1300억개를 사용했다.
머니투데이
- AI 산업
AI 인프라 수요 폭발…TSMC, 8월 매출도 53% 급증
TSMC의 8월 매출이 전년 동기 대비 53.3% 증가한 5148억 대만달러(약 21조9000억원)를 기록했다. 2분기 파운드리 점유율은 TSMC 72.5%, 삼성 5.9%, SMIC 5.4%였고 세계 10대 파운드리 합산 매출은 534억9000만달러로 사상 최고치였다.
한국경제
Sososo
소소.소
추석 앞두고, 이웃집 아이들 선물을 정성스레 포장했습니다
한부모·조손가정 아이들에게 전할 추석 선물을 봉사자 40여 명이 함께 포장했습니다. 서울 성동구 대한적십자사 서울지사에서 있었던 일입니다.
나눔자원봉사50년 비어 있던 종로의 집, 갑자기 집 잃은 이웃의 품이 되다
서울주택도시개발공사와 종로구가 반세기 가까이 방치된 창신동의 낡은 집을 고쳐, 화재나 침수로 하루아침에 살 곳이 없어진 이웃에게 여섯 달 동안 임대료 없이 내어줍니다.
이웃지역안정환, 소아암 환아 위해 모교 병원에 다시 마음을 보태다
축구선수 출신 방송인 안정환이 모교 아주대병원에 6400만 원을 기부하며, 5년째 이어온 나눔이 마침내 5억 원을 채웠습니다.
나눔의료
