블로그Lead Story
루브릭 캘리브레이션이 실제로 재는 것
희곡 대본을 LLM으로 채점하는 도구를 만들다가, 점수보다 점수를 믿을 근거가 먼저라는 걸 알게 됐습니다. 캘리브레이션은 1912년부터 있던 교육측정학 절차였고, 그게 재는 값은 정확도가 아니라 골든셋과의 일치도였습니다. 루브릭과 골든셋을 갈라놓는 순간 설계가 정리됩니다.
- llm
- evaluation
- rubric
Sections
Blog
블로그
가중치 파일에서 RAG까지, LLM을 처음부터 다시 물었다
모델 파일에는 뭐가 들어 있나에서 시작해 양자화, VRAM 계산, 확산 모델, 어텐션과 레이어, 그리고 사내 RAG 챗봇을 프레임워크 없이 짜는 법까지 이어 물어본 내용을 한 번에 정리했습니다. 토큰 임베딩과 문서 임베딩이 서로 만나지 않는다는 사실이 전체를 꿰는 축이었습니다.
- 구축기록
[설계] 학습에 안 쓴다는 약속은 누가 하는가: 구독 CLI로 돌리던 채점기를 공개할 수 있는지 조사했다
어느 파일이 LLM을 부르는지 묻는 것으로 시작해 약관 원문까지 갔다. 구독 자격증명으로 남의 요청을 태우는 것은 명시적으로 금지돼 있었고, 학습 미사용은 구독에서는 내가 끄고 켜는 설정이지만 API에서는 상대가 계약으로 못 하게 돼 있는 조항이었다. 로컬 LLM은 답이 아니었고, 대신 모델을 기록하지 않고 있었다는 구멍을 찾았다.
- 구축기록
[구축] 규칙을 네 번 썼는데 네 번 샜다: 에이전트를 고치는 대신 조건을 없앴다
위키(Confluence)를 붙인 채팅 봇을 하루 동안 40여 개 질문으로 훑었다. 도구 설명에 규칙을 넣는 방식이 네 번 샜고, 그때마다 조건 자체를 없애는 쪽이 한 번에 통했다. 어제 쓴 '스키마를 감췄다'는 결론도 틀렸다. 스키마는 처음부터 오고 있었고 우리가 필드명을 잘못 읽고 있었다.
- 구축기록
[구축] 도구 79개를 2개로 압축한 대가: 스키마를 감추면 모델은 매번 한 번 틀린다
벤더 MCP 도구를 그대로 노출하면 프롬프트가 터지므로 '목록 조회 + 범용 호출' 두 개로 압축했다. 그 대가로 인자 스키마가 사라졌고, 모델은 인자를 매번 한 번 틀린 뒤 오류 메시지로 배운다. 한 라운드에 재시도 9회. 그중 딱 한 번 다운스트림이 200 OK로 조용히 삼켰더니, 모델은 원인을 지어내 사용자에게 관리자 문의를 권했다.
News
오늘의 뉴스
- 생성형 AI
'AI가 인류 멸망' 경고에 트럼프 "전혀 걱정 없어···내 관심은 대중국 우위"
앤트로픽 전현직 연구원 제이컵 콕슨·에번 휴빙거가 AI가 10년 내 인류를 멸망시킬 확률을 10% 이상으로 경고하자, 트럼프 대통령은 10일 "전혀 걱정 없다"며 중국 대비 약 1년 기술우위를 강조했다. 크루즈 상원 상무위원장은 규제 법안을 준비 중이다.
경향신문
- AI 산업
LG·엔비디아 합작 'AI 팩토리' 시동… LG CNS, 3814억 베라루빈 확보
LG CNS 이사회가 엔비디아의 차세대 GPU 서버 '베라루빈' 등 3814억원 규모 AI 인프라 구매를 승인했다. 이는 총자산의 7.2%로, 국내 유통사 HP코리아를 통해 계약한다. 지난달 구광모 LG 회장과 젠슨 황 엔비디아 CEO 회동의 후속 조치다.
서울경제
- IT 전반
'누적 회원 96만명' 음악 플랫폼 뮤팟, 회원 개인정보 유출
저작권 프리 음원 플랫폼 뮤팟이 8월 말 외부의 비정상 접근으로 이름·이메일·휴대전화번호 등 회원 개인정보가 유출됐다고 9일 공지했다. 누적 회원 95만9000명이며 KISA가 원인을 조사 중이다.
조선일보
- 그외 뉴스
'이종섭 해외도피' 윤석열·조태용·박성재 등 6명 전원 1심 무죄
이종섭 전 국방장관의 호주 도피를 도운 혐의로 기소된 윤석열 전 대통령 등 6명이 1심에서 모두 무죄를 선고받았다. 재판부는 도피 의사와 출금 해제 지시·공모를 인정할 증거가 없다고 판단했다. 검찰은 앞서 징역 5년을 구형했다.
뉴스1
- 생성형 AI
앤트로픽 "중국 AI, 클로드 핵심능력 무단 추출"...무기·바이러스 연구도
앤트로픽이 위협정보 보고서에서 중국 AI기업 문샷 등이 가짜 계정으로 클로드와 2300만건 이상 교신해 모델을 무단 증류했고, 북예멘 조직은 클로드코드로 미사일 유도항법 소프트웨어를 개발했다고 밝혔다. 조류인플루엔자 실험 등 생물학적 오용 사례도 적발됐다.
머니투데이
- AI 산업
금리·유가·딥시크 3중 악재에도...AI 산업 쌀알 상한가
코스피가 1.7%, 코스닥이 1.9% 내려 마감했다. 중국 딥시크의 신모델 공개로 고대역폭메모리·SSD 수요 둔화 우려가 커지며 삼성전자 3.5%, SK하이닉스 2.2% 하락했다. 일본 키옥시아는 7%, 미국 마이크론은 4.9% 내렸다.
한국경제
Sososo
소소.소
서울 청량리서 나눈 밥 한 그릇, 38년 만에 1500만 그릇 됐어요
1988년 청량리에서 시작된 다일공동체의 '밥퍼' 급식이 서른여덟 해 만에 1500만 그릇을 채웠습니다. 후원자와 자원봉사자, 오래 밥을 나눠온 어르신들이 한자리에 모여 그 숫자를 함께 기념했습니다.
나눔지역도로 위 다친 고양이 보고 배달을 멈춘 사람
강원 원주에서 배달을 하던 한 기사가 차에 치인 고양이를 발견하고 오토바이를 세웠습니다. 위험을 무릅쓰고 도로 밖으로 옮긴 덕분에 생명을 구할 수 있었어요.
동물한 달에 만 원씩, 서울대가 10년 모은 348억 원
동문과 교직원, 학부모가 매달 만 원씩 보탠 '만만한 기부'가 열 돌을 맞았습니다. 그렇게 모인 348억 원은 형편이 어려운 후배들의 생활비 장학금으로 쓰이고 있어요.
나눔교육
