최근 SEO와 GEO를 함께 보다 보면 llms.txt와 md.txt에 대한 이야기를 자주 보게 됩니다.
한쪽에서는 Google이 llms.txt나 별도 마크다운 파일이 생성형 AI 검색 노출에 필수는 아니라고 말합니다. 실제로 바로 이전 글에서 구글 GEO 공식 가이드에도 이 부분을 다루기도 했죠.
그런데 가이드가 나오자마자 며칠 뒤 의견이 다른 느낌으로 Chrome for Developers의 Lighthouse llms.txt 문서처럼 에이전트형 브라우징 감사 항목에서 llms.txt를 설명했습니다. Google 개발자 문서에는 scoring.md.txt 같은 markdown 문서도 존재하죠. 이렇게만 보면, Google 내부에서도 서로 다른 이야기를 하는 것처럼 보입니다.
확실히 상반된 의견이 존재하는 만큼 여러 커뮤니티의 글을 읽고 존뮬러와 릴리레이가 나눴던 글, 그리고 실제 ai crawler의 유입 인사이트를 토대로 저는 llms.txt와 md.txt를 단순히 “좋다, 나쁘다”로 나누기보다, AI 검색에서 선택받는 단계와 선택된 뒤 이해되는 단계를 나눠서 보려고 합니다.
제가 생각하기에 이 파일들은 노출의 근간이라기보다, 선택된 페이지를 더 잘 읽히게 만드는 보조 레이어일 가능성이 높다는 것입니다.
1. 구글 안에서도 다르게 보이는 llms.txt
1) Search 관점에서는 “필수 아님”에 가깝다
Google Search 관점에서 보면 llms.txt는 현재 생성형 AI 검색 노출을 위한 필수 조건으로 보기 어렵습니다. 구글이 말하는 핵심은 여전히 일반적인 SEO입니다. 좋은 콘텐츠, 크롤링 가능한 페이지, 명확한 구조, 사용자에게 도움이 되는 정보가 우선이라는 흐름입니다.
이 관점에서는 llms.txt나 md.txt를 만든다고 해서 AI Overview나 AI Mode에 바로 노출될 가능성이 높아진다고 말하기 어렵고 RAG 관점으로 링크를 출처로 가져오는 맥락에서 md.txt나 llms.txt가 검색 노출이 된다는 건 현재 제 인사이트 상 어렵습니다. 검색 시스템이 후보 문서를 고르는 과정에서 이 파일들을 특별한 랭킹 신호로 쓴다는 근거도 아직 부족하죠.
무엇보다 중요한 건 md.txt 파일을 사람들이 많이 접속해서 봤음에도 불구하고 구글 SERP 기준 색인된 페이지가 존재하지 않았습니다.
2) Lighthouse 관점에서는 에이전트 준비 상태의 참고 신호다
반면 Chrome/Lighthouse 관점에서는 이야기가 조금 다릅니다. Lighthouse 에이전트형 브라우징 점수 문서에서는 에이전트형 브라우징 카테고리가 실험적이며, 머신 상호작용을 위해 사이트가 얼마나 잘 구성되어 있는지 확인하는 방향으로 설명합니다.
(Core Web Vital은 이번 케이스와 다르게 Google Search 차원에서 순위 시스템에 반영하겠다고 공식 발표된 신호였습니다. 반면 Lighthouse의 llms.txt 항목은 에이전트형 브라우징 준비 상태를 점검하는 실험적 감사 항목에 가깝고, Google Search의 랭킹 신호로 선언된 것은 아니었습니다.)
여기서 llms.txt는 검색 랭킹 신호라기보다 에이전트가 사이트 구조와 주요 콘텐츠를 더 빠르게 파악할 수 있도록 돕는 항목에 가깝다는 생각을 했죠.
즉 Search 팀의 “AI 검색 노출에 필수는 아니다”와 Chrome/Lighthouse의 “에이전트 준비 상태에서 참고할 수 있다”는 말은 서로 다른 관점으로 문제를 보고 있을 수 있겠다 판단했습니다.
3) 두 문서는 같은 검색 랭킹 문제를 말하는 것이 아닐 수 있다
이 지점이 중요합니다. 하나는 Google Search의 노출과 선택 문제이고, 다른 하나는 브라우저 기반 에이전트가 웹사이트를 어떻게 탐색하고 이해할지에 대한 문제입니다. 겉으로는 모순처럼 보이지만, 실제로는 같은 기준의 이야기가 아닐 수 있습니다.
2. AI 검색에서 중요한 것은 먼저 선택받는 것
1) RAG와 쿼리 팬아웃은 현재 GEO에서 후보 페이지를 찾는 과정이다
AI 검색을 볼 때 중요한 것은 답변 생성 이전의 후보 선정 과정입니다. RAG나 쿼리 팬아웃 구조를 생각하면, AI는 질문 하나를 여러 하위 쿼리로 나누고, 관련 문서를 찾고, 그중 일부를 답변 근거로 삼는 방식에 가깝습니다.
이때 핵심은 먼저 후보 문서가 되는 것입니다. 아무리 md.txt가 잘 정리되어 있어도, 원문 페이지가 검색 인덱스나 후보군에 들어오지 못한다면 AI가 그 파일을 참고할 기회 자체가 적습니다.
2) Google은 결국 기존 검색 적합도에 기대는 흐름이 강하다
Google이 AI 검색에서 기존 검색 인덱스와 랭킹 시스템을 완전히 버릴 가능성은 제 생각엔 낮아 보입니다.
더 정확히 말하면, AI 검색의 선택 과정은 기존 검색 인덱스, 랭킹 시스템, 문서 적합도 신호에 의존할 가능성이 높습니다.
그렇기 때문에 “SERP를 그대로 쓴다”라고 단정할 수는 없지만, Google이 이미 구축한 크롤링, 색인, 랭킹, 품질 평가 시스템을 기반으로 후보 문서를 찾을 가능성은 매우 크다 생각이 드는거죠.
상위노출이 아니라 팬아웃 별로 적합한 문서를 찾는 관점이며, 이 단계에서 중요한 것은 여전히 원문 페이지의 품질과 검색 적합도입니다.
3) 검색 결과에 드러나지 않는 md.txt는 선택 단계에서 힘이 약하다
만약 md.txt나 llms.txt가 검색 결과에 실질적으로 노출되지 않고, 별도 랭킹 신호로도 쓰이지 않는다면 선택 단계에서의 힘은 제한적일 수밖에 없습니다. 선택 단계는 “어떤 문서를 답변 후보로 삼을 것인가”의 문제이고, 이 판단은 원문 페이지의 신뢰도, 주제 적합도, 색인 상태, 링크, 엔티티 신호에 더 가까워 보입니다.
3. md.txt가 의미를 갖는 지점은 선택 이후이지 않을까?
1) 선택된 페이지를 더 빠르게 읽히게 할 수 있다
다만 md.txt의 의미가 전혀 없다는 뜻은 아닙니다. 오히려 선택 이후에는 충분히 역할이 생길 수 있습니다.
예를 들어 AI가 이미 3개의 후보 페이지를 골랐고, 그중 하나에 md.txt 형태의 정리된 문서가 있다면 해당 문서를 더 빠르게 이해할 수 있습니다.
이 경우 md.txt는 후보 선택의 근거라기보다, 후보로 선택된 이후 문서 해석과 요약 정확도에 영향을 줄 수 있는 보조 자료에 가깝습니다. 이 표현이 제가 생각하기에 현재로서는 가장 안전하고 현실적인 판단이라고 봅니다.
2) HTML의 노이즈를 줄이고 토큰 비용을 낮출 수 있다
HTML 페이지에는 메뉴, 푸터, 버튼, 광고, 관련 글, 반복 문구처럼 AI가 본문을 파악할 때 방해가 될 수 있는 요소가 많습니다. markdown 문서는 이런 노이즈를 줄이고 핵심 내용을 상대적으로 단순한 구조로 전달할 수 있습니다.
따라서 현재 구글에서 적용한 md.txt는 토큰 비용을 낮추고 처리 효율을 높이는 데 도움이 되는 방향으로 생각합니다.
특히 문서가 길거나 UI 요소가 많은 사이트라면, AI가 핵심 본문을 보다 빠르게 읽는 데 유리할 수 있습니다.
3) 맥락과 신뢰도는 원문 페이지에서 만들어질 것이다.
그럼에도 markdown화 자체가 맥락 이해를 보장하지는 않습니다. 비정형 데이터를 markdown으로 바꾼다고 해서 작성 의도, 문서 간 관계, 주제 권위, 브랜드 신뢰도가 자동으로 생기지는 않습니다.
(개발자 문서에만 md.txt가 쓰이는 이유도 이와 같은 맥락이라 보고 있습니다.)
AI가 답변에 인용할 만한 근거로 판단하려면 결국 원문 페이지의 내용이 좋아야 합니다. md.txt는 잘 읽히게 만들 수는 있지만, 없는 신뢰도를 만들어주지는 못합니다.
4. 구글은 왜 표준 llms.txt가 아니라 페이지별 md.txt를 만들었을까?
1) llms.txt는 사이트 전체 안내서에 가깝다
일반적인 llms.txt 논의는 루트 디렉토리에 하나의 파일을 두고, 사이트의 목적과 주요 링크를 정리하는 방식에 가깝습니다. 일종의 사이트 안내서죠.
이 방식은 사이트 전체를 빠르게 소개하는 데는 유용할 수 있습니다. 하지만 운영자가 직접 작성한 선언이기 때문에 과장되거나 누락될 수 있고, 원문 페이지와 얼마나 일치하는지도 별도로 확인해야 하고 실질적으로 GPT나 클로드 봇이 이 파일을 자주 읽었냐? 라고 한다면 그런 경우는 없었습니다. 실제 GEO 툴을 만들고 있는 체인시프트나 다른 업체에서도 llms.txt가 GEO에 도움을 주냐라 봤을 때 그렇지 않다라는 의견도 있었습니다.
2) md.txt는 페이지별 원문 정리본에 가깝다
반면 Google 개발자 문서에서 보이는 md.txt는 개별 페이지의 읽기 쉬운 버전에 가깝습니다. 사이트 전체를 설명하는 파일이라기보다, 특정 페이지의 본문을 markdown 형태로 제공하는 구조입니다.
이 방식은 제가 생각하는 문서 단위 처리에 더 잘 맞습니다. AI가 실제로 답변 근거를 찾는 과정도 사이트 전체 선언보다 페이지 단위 콘텐츠를 읽고 비교하는 쪽에 가까울 가능성이 높죠.
3) AI가 필요한 것은 선언보다 검증 가능한 문서 단위 정보일 수 있다
이 차이를 보면 Google이 표준 llms.txt보다 페이지별 md.txt에 더 가까운 구조를 제공하는 이유도 어느 정도 추정할 수 있습니다. AI에게 필요한 것은 “우리 사이트는 이런 사이트입니다”라는 선언보다, 실제 원문과 비교 검증 가능한 문서 단위 정보일 수 있습니다.
그래서 md.txt는 llms.txt보다 더 실무적인 읽기 보조 장치일 수 있습니다. 다만 이것도 검색 노출의 근간이라기보다 문서 처리 효율의 문제로 보는 편이 더 자연스럽습니다.
5. 에이전틱 브라우징도 결국 웹을 벗어나기 어렵다
1) 에이전트가 써도 브라우저의 기반은 Chromium일 가능성이 높다
에이전틱 브라우징이 확장되더라도, 그 기반은 결국 브라우저일 가능성이 높습니다.
현재 웹 브라우징의 중심에는 Chromium 계열 브라우저와 기존 웹 표준이 있고, AI 에이전트 역시 이 구조 위에서 움직일 가능성이 크기 때문이죠. (아틀라스나 퍼플렉시티 컴퓨터를 봐도 기준은 동일하다 보고 있습니다.)
AI 에이전트가 사람 대신 페이지를 탐색하더라도 결국 URL을 열고, HTML을 읽고, DOM과 접근성 트리를 해석하고, 링크와 버튼을 따라 움직여야 합니다. 이 구조를 완전히 버리고 AI 전용 파일만으로 웹을 재구성하기는 어렵습니다.
다만 DOM은 AI에게 콘텐츠 원문이라기보다 브라우저가 화면을 구성하기 위한 실행 구조에 가까우며, 본문뿐 아니라 메뉴, 버튼, 스크립트, 숨겨진 레이어, 반복 UI가 함께 섞여 있기 때문에 AI가 그대로 읽기에는 노이즈와 처리 비용이 큽니다.
그래서 WebMCP처럼 DOM을 더 안정적으로 다루게 만드는 접근은 앞으로 의미가 있을 수 있습니다. 다만 이는 에이전트가 웹서비스를 더 효율적으로 조작하고 이해하기 위한 인터페이스 문제에 가깝습니다.
따라서 제 생각엔 검색 결과에서 어떤 문서가 후보로 선택되는지를 다루는 GEO의 핵심 신호와는 구분해서 봐야 합니다.
2) 사람이 탐색할 수 있는 웹 표준은 계속 유지되어야 한다
웹은 사람, 검색엔진, AI 에이전트가 함께 사용하는 공간입니다. 사람이 탐색할 수 없는 AI 전용 웹은 검증과 신뢰의 측면에서 오래가기 어렵습니다. 사용자가 직접 보고 확인할 수 있는 HTML 페이지가 있어야 AI가 가져간 정보도 검증될 수 있습니다.
(AI로 유입되는 건 쿠키 및 유입으로 트래킹되지 않는데 그럼 검색 품질 신호 자체가 흔들리게 된다 보고 있고 인젝션과 어뷰징과 같은 형태가 더 활발하게 이뤄질 가능성도 높다 보고 있습니다. 제 생각에 IP의 중요성은 크다 생각이 되는 만큼 AI가 모든 신호의 기준이 된다 보기엔 어렵습니다.)
이런 의미에서 에이전틱 브라우징은 웹 표준을 대체하기보다, 오히려 웹 표준을 더 엄격하게 요구하는 방향으로 발전할 가능성이 높다고 봅니다.
3) HTML, 접근성, 시맨틱 구조가 더 본질적이다
에이전트가 웹을 잘 탐색하려면 명확한 HTML 구조, 시맨틱 태그, 접근성 트리, 안정적인 레이아웃, 예측 가능한 링크와 버튼이 필요합니다. 이는 사람에게도 좋은 웹이고, 검색엔진에게도 좋은 웹이며, AI 에이전트에게도 좋은 웹입니다.
(만약 md.txt, llms.txt가 표준이 된다면 Webdev에서 말한 css와 같은 요소들이 상대적으로 필요 없게 될 것입니다.)
따라서 에이전틱 브라우징 시대의 준비는 llms.txt 추가하는 것보다, 웹페이지 자체를 더 표준적이고 읽기 쉬운 구조로 만드는 데서 시작해야 합니다.
6. 현재까지의 내린 결론
1) llms.txt와 md.txt는 노출의 근간이 아니다
현재까지의 판단으로는 llms.txt와 md.txt를 AI 검색 노출의 근간으로 보기는 어렵습니다. 후보 문서로 선택되는 과정은 여전히 기존 검색 인덱스와 원문 페이지의 적합도에 기대는 흐름이 강하다 생각합니다.
2) 선택받은 이후 이해를 돕는 보조 레이어에 가깝다
다만 선택된 이후에는 의미가 생길 수 있습니다. md.txt는 AI가 원문 페이지를 더 빠르게 읽고, 핵심 문장을 덜 왜곡하며, 요약 비용을 줄이는 데 도움을 줄 수 있습니다.
3 GEO의 우선순위는 여전히 원문 페이지와 검색 적합도
그래서 실무 우선순위는 분명합니다. llms.txt나 md.txt보다 먼저 원문 HTML 페이지의 품질, 정보 구조, 제목, 내부 링크, 구조화 데이터, 작성자와 브랜드 신뢰 신호를 다듬어야 합니다. 그 위에 보조 레이어로 md.txt를 얹는 것은 실험해볼 수 있지만, 순서를 바꾸면 안 됩니다.
정리하면 이렇습니다.
llms.txt와 md.txt는 선택받기 위한 신호라기보다, 이미 선택된 페이지를 더 빠르게 이해시키는 보조 레이어에 가깝습니다.
AI 검색의 선택 단계는 여전히 기존 검색 적합도에 기댈 가능성이 높고, 에이전틱 브라우징이 확장되더라도 그 기반은 웹 표준과 HTML 문서일 가능성이 클 거라 생각하면서 글을 마무리합니다.
