블로그Lead Story
루브릭 캘리브레이션이 실제로 재는 것
희곡 대본을 LLM으로 채점하는 도구를 만들다가, 점수보다 점수를 믿을 근거가 먼저라는 걸 알게 됐습니다. 캘리브레이션은 1912년부터 있던 교육측정학 절차였고, 그게 재는 값은 정확도가 아니라 골든셋과의 일치도였습니다. 루브릭과 골든셋을 갈라놓는 순간 설계가 정리됩니다.
- llm
- evaluation
- rubric
Sections
Blog
블로그
가중치 파일에서 RAG까지, LLM을 처음부터 다시 물었다
모델 파일에는 뭐가 들어 있나에서 시작해 양자화, VRAM 계산, 확산 모델, 어텐션과 레이어, 그리고 사내 RAG 챗봇을 프레임워크 없이 짜는 법까지 이어 물어본 내용을 한 번에 정리했습니다. 토큰 임베딩과 문서 임베딩이 서로 만나지 않는다는 사실이 전체를 꿰는 축이었습니다.
- 구축기록
[설계] 학습에 안 쓴다는 약속은 누가 하는가: 구독 CLI로 돌리던 채점기를 공개할 수 있는지 조사했다
어느 파일이 LLM을 부르는지 묻는 것으로 시작해 약관 원문까지 갔다. 구독 자격증명으로 남의 요청을 태우는 것은 명시적으로 금지돼 있었고, 학습 미사용은 구독에서는 내가 끄고 켜는 설정이지만 API에서는 상대가 계약으로 못 하게 돼 있는 조항이었다. 로컬 LLM은 답이 아니었고, 대신 모델을 기록하지 않고 있었다는 구멍을 찾았다.
- 구축기록
[구축] 규칙을 네 번 썼는데 네 번 샜다: 에이전트를 고치는 대신 조건을 없앴다
위키(Confluence)를 붙인 채팅 봇을 하루 동안 40여 개 질문으로 훑었다. 도구 설명에 규칙을 넣는 방식이 네 번 샜고, 그때마다 조건 자체를 없애는 쪽이 한 번에 통했다. 어제 쓴 '스키마를 감췄다'는 결론도 틀렸다. 스키마는 처음부터 오고 있었고 우리가 필드명을 잘못 읽고 있었다.
- 구축기록
[구축] 도구 79개를 2개로 압축한 대가: 스키마를 감추면 모델은 매번 한 번 틀린다
벤더 MCP 도구를 그대로 노출하면 프롬프트가 터지므로 '목록 조회 + 범용 호출' 두 개로 압축했다. 그 대가로 인자 스키마가 사라졌고, 모델은 인자를 매번 한 번 틀린 뒤 오류 메시지로 배운다. 한 라운드에 재시도 9회. 그중 딱 한 번 다운스트림이 200 OK로 조용히 삼켰더니, 모델은 원인을 지어내 사용자에게 관리자 문의를 권했다.
News
오늘의 뉴스
- 생성형 AI
예멘 무기조직, AI '클로드'로 탄도미사일 개발…시험발사까지
앤트로픽은 예멘 북부 기반 조직이 클로드 코드로 유도 로켓과 다단계 탄도미사일, 극초음속 활공체의 유도항법제어 소프트웨어 개발을 시도했다고 밝혔다. 시험발사는 실패했고 관련 계정은 차단됐으며 후티 반군 연계 여부는 확인되지 않았다.
뉴스1
- AI 산업
메모리에 더 목매는 차세대 AI...삼전닉스 수혜 쏟아진다
오픈AI 'GPT-6 아스트라' 출시로 에이전틱 AI 시대가 본격화하며 삼성전자와 SK하이닉스의 메모리 반도체 사업 기회가 확대되고 있다. 트렌드포스는 올해 세계 메모리 시장 전망치를 5516억달러에서 8893억달러로 상향 조정했다.
머니투데이
- IT 전반
교육부, 대입 수시 원서접수 시스템 장애로 접수체계 전면 검토
교육부가 대입 수시모집 원서접수 대행사 유웨이어플라이의 시스템 오류 원인을 조사하고 원서접수 체계를 전면 검토하기로 했다. 11일 오후 5시50분 발생한 오류로 마감이 1시간 연장됐고, 접수를 못한 수험생 구제 절차는 13일 안내된다.
연합뉴스
- 그외 뉴스
북한 동해상 탄도미사일 발사에 국가안보실 긴급 안보상황 점검회의
국가안보실은 12일 북한이 오전 5시20분께 원산 일대에서 동해상으로 단거리 탄도미사일 수발을 발사하자 국방부·합참 등과 긴급 안보상황 점검회의를 열고 유엔 안보리 결의 위반이라며 즉각 중단을 촉구했다.
연합뉴스
- 생성형 AI
3년 만에 또 품절…오픈AI, 아스트라 月200달러 구독 가입 일시 중단
오픈AI가 10일(현지시간) 신모델 아스트라에 대한 전례 없는 수요로 월 200달러 프로 요금제 신규 가입을 일시 중단했다. 기존 가입자와 API, 고·플러스 요금제는 영향받지 않으며 오픈AI는 2023년 이후 3년 만에 같은 조치를 반복했다.
서울경제
- AI 산업
오라클 회사채 금리 8% 육박…AI 열풍 뒤흔드는 '자금조달 경고등'
알파벳·아마존·메타·마이크로소프트·오라클 등 빅테크가 AI 데이터센터 투자를 위해 최근 1년간 약 2200억달러 규모 회사채를 발행했다. 오라클의 2055년 만기 회사채 시장수익률은 연 4.375%에서 지난달 21일 연 7.67%까지 상승했다.
한국경제
Sososo
소소.소
"통닭이 자꾸 생각나서" 아흔셋 아버지의 전화 한 통, 딸을 울리다
아내를 먼저 보내고 홀로 지내는 아흔셋 아버지가 딸에게 전화를 걸어 조심스레 통닭이 먹고 싶다고 말했습니다. 짧은 통화를 마친 딸은 한참을 울었습니다.
가족가족과 함께 머핀 구워 이웃에게 전한 울산시 공무원들
울산시 공무원과 가족들이 팔을 걷어붙이고 반죽부터 포장까지 정성껏 머핀을 구워 지역 취약계층에 전했습니다.
나눔자원봉사서울 청량리서 나눈 밥 한 그릇, 38년 만에 1500만 그릇 됐어요
1988년 청량리에서 시작된 다일공동체의 '밥퍼' 급식이 서른여덟 해 만에 1500만 그릇을 채웠습니다. 후원자와 자원봉사자, 오래 밥을 나눠온 어르신들이 한자리에 모여 그 숫자를 함께 기념했습니다.
나눔지역
