#data-curation

5 posts tagged

Paper Review07.162026-07-16 09:009 min read

[AI Search] LOCUS: 검색 가능한 지역 법령 코퍼스를 만드는 일

Freeing the Law with LOCUS 논문을 AI Search stack 관점에서 읽는다. 미국 local ordinance가 vendor platform과 PDF에 흩어져 있던 문제를 corpus, OCR, county-harmonized access layer, ModernBERT 기반 annotation으로 풀어내는 과정을 정리한다.

#AI Search #LOCUS #legal-ai+4

Paper Review07.072026-07-07 09:0028 min read

[AI Search] FineWeb2: Multilingual Search를 위한 데이터 파이프라인

FineWeb2 논문을 AI Search stack 관점에서 읽는다. 다국어 검색 품질은 retrieval model만의 문제가 아니라 언어 식별, deduplication, 언어별 filtering, quality-aware rebalancing으로 만들어지는 데이터 파이프라인 문제다.

#AI Search #FineWeb2 #multilingual+3

Paper Review07.062026-07-06 09:0023 min read

[AI Search] GlotLID: Multilingual Search의 첫 번째 게이트

GlotLID 논문을 AI Search stack 관점에서 읽는다. 다국어 검색·RAG에서 언어 식별은 작은 전처리처럼 보이지만, 실제로는 인덱스 라우팅, 데이터 정제, low-resource corpus 품질을 결정하는 첫 번째 게이트다.

#AI Search #GlotLID #language-identification+3

Paper Review07.062026-07-06 09:0020 min read

[AI Search] Position Bias: Dense Retriever가 문서 앞쪽을 좋아하는 이유

Position Bias in Dense Retrievers 논문을 AI Search stack 관점에서 읽는다. Dense retriever의 위치 편향이 모델 구조만의 문제가 아니라 fine-tuning 데이터에서 정답 근거가 어디에 있었는지에 의해 강하게 학습될 수 있음을 정리한다.

#AI Search #dense-retrieval #position-bias+3

Paper Review07.042026-07-04 09:0020 min read

[논문 리뷰] Dense Retriever의 위치 편향은 타고나는가, 학습되는가

Dense retriever가 문서 앞부분 정보를 선호하는 현상은 모델 구조만의 문제가 아니라, fine-tuning 데이터에서 정답 근거가 어디에 있었는지에 크게 좌우된다.

#retrieval #rag #dense-retriever+2