블로그Lead Story
루브릭 캘리브레이션이 실제로 재는 것
희곡 대본을 LLM으로 채점하는 도구를 만들다가, 점수보다 점수를 믿을 근거가 먼저라는 걸 알게 됐습니다. 캘리브레이션은 1912년부터 있던 교육측정학 절차였고, 그게 재는 값은 정확도가 아니라 골든셋과의 일치도였습니다. 루브릭과 골든셋을 갈라놓는 순간 설계가 정리됩니다.
- llm
- evaluation
- rubric
Sections
Blog
블로그
가중치 파일에서 RAG까지, LLM을 처음부터 다시 물었다
모델 파일에는 뭐가 들어 있나에서 시작해 양자화, VRAM 계산, 확산 모델, 어텐션과 레이어, 그리고 사내 RAG 챗봇을 프레임워크 없이 짜는 법까지 이어 물어본 내용을 한 번에 정리했습니다. 토큰 임베딩과 문서 임베딩이 서로 만나지 않는다는 사실이 전체를 꿰는 축이었습니다.
- 구축기록
[설계] 학습에 안 쓴다는 약속은 누가 하는가: 구독 CLI로 돌리던 채점기를 공개할 수 있는지 조사했다
어느 파일이 LLM을 부르는지 묻는 것으로 시작해 약관 원문까지 갔다. 구독 자격증명으로 남의 요청을 태우는 것은 명시적으로 금지돼 있었고, 학습 미사용은 구독에서는 내가 끄고 켜는 설정이지만 API에서는 상대가 계약으로 못 하게 돼 있는 조항이었다. 로컬 LLM은 답이 아니었고, 대신 모델을 기록하지 않고 있었다는 구멍을 찾았다.
- 구축기록
[구축] 규칙을 네 번 썼는데 네 번 샜다: 에이전트를 고치는 대신 조건을 없앴다
위키(Confluence)를 붙인 채팅 봇을 하루 동안 40여 개 질문으로 훑었다. 도구 설명에 규칙을 넣는 방식이 네 번 샜고, 그때마다 조건 자체를 없애는 쪽이 한 번에 통했다. 어제 쓴 '스키마를 감췄다'는 결론도 틀렸다. 스키마는 처음부터 오고 있었고 우리가 필드명을 잘못 읽고 있었다.
- 구축기록
[구축] 도구 79개를 2개로 압축한 대가: 스키마를 감추면 모델은 매번 한 번 틀린다
벤더 MCP 도구를 그대로 노출하면 프롬프트가 터지므로 '목록 조회 + 범용 호출' 두 개로 압축했다. 그 대가로 인자 스키마가 사라졌고, 모델은 인자를 매번 한 번 틀린 뒤 오류 메시지로 배운다. 한 라운드에 재시도 9회. 그중 딱 한 번 다운스트림이 200 OK로 조용히 삼켰더니, 모델은 원인을 지어내 사용자에게 관리자 문의를 권했다.
News
오늘의 뉴스
- 생성형 AI
앤트로픽 "후티 반군, 클로드로 첨단 미사일 개발 시도"
앤트로픽은 예멘 후티 반군 추정 세력이 클로드로 다단 탄도미사일과 극초음속 활강체 등 무기 프로젝트의 유도·항법·제어 소프트웨어 제작을 시도했다고 밝혔다. 실제 무기 배치 전에 계정을 차단했다고 설명했다.
뉴시스
- AI 산업
GPU 확보 다음은 '연결'…韓, AIDC 광통신 기술 키운다
과학기술정보통신부가 AI 데이터센터용 다심 광섬유 기술 개발에 2031년까지 36억원을 투입한다. 한국의 광섬유 수출은 2022년 5800만달러에서 2025년 2700만달러로 줄어, 국산화가 시급하다는 진단이다.
서울경제
- IT 전반
피시방 붐 만든 '스타크래프트', 2030년 슈팅 게임으로 돌아온다
블리자드가 스타크래프트를 스토리 중심 오픈월드 슈팅 게임으로 재탄생시켜 2030년 선보인다고 발표했다. 디아블로·워크래프트 신작 계획과 넷플릭스 애니메이션 협업도 함께 공개됐다.
뉴스1
- 그외 뉴스
'쇄신용' 개각 청문회도 못하고 '삐걱'…靑 인사검증 라인 책임론 고개
용혜인 여성가족부 장관 후보자가 지명 2주 만에 자진사퇴했다. 이재명 정부 들어 낙마한 네 번째 장관 후보자로, 대통령실 인사검증 라인에 대한 책임론이 제기되고 있다.
뉴스1
- 생성형 AI
인간처럼 생각하고 일하는 AI 왔나…다시 불붙은 'AGI 시대' 논쟁
오픈AI가 새 모델 GPT-6 아스트라를 공개하며 소프트웨어 개발과 수학 등 복잡한 업무를 수행하는 역량을 보이자, 범용인공지능(AGI) 도래 여부를 둘러싼 논쟁이 다시 불붙었다.
뉴스1
- AI 산업
[단독] AI에이전트 결제 수단인데...스테이블코인도 과세
내년부터 스테이블코인으로 결제해 발생한 환차익에도 세금이 부과된다. AI 에이전트 결제와 원화 스테이블코인 도입이 예정된 만큼 별도 과세 기준이 필요하다는 지적이 나온다.
서울경제
Sososo
소소.소
송창식, 세 자녀 중 두 아이를 품은 사연
가수 송창식이 세 자녀 중 두 명이 입양한 아이라고 밝혔습니다. 처형의 사정으로 시작된 인연이 온 가족의 사랑으로 이어졌습니다.
가족경주마 이름으로 12년째 이어진 장학금 나눔
말 주인 이종훈 씨가 경주마 '영천에이스' 이름으로 영천시장학회에 1억원을 기탁했습니다. 2014년 첫 승부터 이어온 나눔이 12년째 계속되고 있습니다.
교육지역다친 돌고래 '안목이'가 남긴 구조 매뉴얼
해양수산부가 지난 7월 강릉에서 구조된 돌고래 '안목이'의 경험을 바탕으로 해양동물 구조 훈련을 실시했습니다. 한 마리를 살린 기록이 앞으로의 구조에 쓰이게 됐습니다.
동물환경
