활용 팁 / 검색최적화 / Python · 자동화
약 2,400자
블로그 글을 발행하면 보통 Google 이 한 시간에서 며칠 사이에 크롤링하러 옵니다. 그동안 글은 검색에 안 잡힙니다. 우리는 발행 즉시 5채널에 동시 ping 을 보내서 평균 4시간 → 30분으로 단축했습니다. 어떻게 만들었는지, 어떤 효과인지, 어떻게 검증했는지 풀어 둡니다.
만든 이유
200편 가까이 글을 누적하면서 우리는 같은 패턴을 봤습니다. 발행 직후 24시간 동안 글이 색인이 안 됐고, 그 시간 동안 우리가 쓴 글은 사실상 존재하지 않는 글이었습니다. 색인이 되어야 비로소 검색 결과에 노출되고 트래픽이 시작됩니다.
Google Search Console 의 URL 검사 도구를 매번 수동으로 누르는 것도 한 글에 30초씩 더해지면 큰 부담이었습니다. Bing 은 IndexNow 라는 무료 즉시 색인 프로토콜을 제공하는데, 이걸 활용하지 않으면 Bing 색인 시간은 더 길어집니다. RSS 어그리게이터 (Google Pubsubhubbub, FeedBurner 등) 도 사람이 일일이 핑 보낼 시간이 없습니다.
그래서 발행이 끝나면 자동으로 5채널에 동시 ping 을 보내고 응답을 한 곳에 모아 보여주는 모듈을 만들었습니다.
작동 원리
publish_post 의 hook chain 마지막에 인덱싱 트리거가 한 번 호출됩니다. 그 트리거는 다음 5채널에 동시 호출합니다.
- IndexNow (Bing + Yandex) — 글 URL 1개를 IndexNow 엔드포인트로 POST. 응답 시간 보통 200ms 이내. Bing 은 5~30 분 안에 크롤링 큐에 진입.
- Google Indexing API —
urlNotificationMetadata.publish호출. 원래 Job Posting / Livestream 용이지만 새 글 알림으로 우리가 활용. 응답 1초 이내. Google 이 같은 시간대 다른 도메인보다 빠르게 크롤링. - Google Search Console URL Inspection —
urlInspection.index.inspect로 색인 상태를 폴링. "URL 알 수 없음" 응답이 나오면 자동으로 GSC "색인 요청" 호출. - RSS Pubsubhubbub — Google 의 PubSubHubbub 허브에
hub.mode=publish&hub.url={feed_url}핑. 30초 안에 Google Reader / 모든 RSS 구독자에게 propagate. - Bing Webmaster
submitUrl— IndexNow 와 별개로 Bing 의 옛 submitUrl API 도 함께 호출 (이중 안전망).
5개 호출이 동시에 시작되고 (asyncio.gather), 각 응답이 indexer_log.json 에 저장됩니다. fail 한 채널이 있으면 일정 시간 cooldown 후 자동 재시도합니다.
실제 효과
- 평균 색인 시간: 4시간 → 30분 (90% 단축)
- Bing 색인율 (발행 후 24시간 내): 22% → 87%
- 우리가 GSC UI 에서 "색인 요청" 클릭한 횟수: 누적 41회 → 도입 후 0회
- Google Indexing API 일일 한도 (200): 한 번도 초과 안 함 (자동 batch + 쿨다운으로 분산)
- Discord 알림 빈도: 발행 직후 5채널 결과 1라인 한 줄. "indexing: google ok / bing ok / rss ok / inspect indexed / submit ok"
수치만 보면 평범하지만, 글 한 편 발행할 때마다 30초씩 절약되는 게 200편 누적 = 100분. 그리고 색인 빨라진 만큼 검색 트래픽이 초기에 더 빨리 누적됩니다.
검증 방법
수동 색인과 자동 색인을 직접 비교했습니다.
A/B 색인 비교 (sess 28~30) — 4주 동안 발행한 글 28편을 무작위로 두 그룹으로 나눴습니다. 그룹 A는 자동 인덱서 통과, 그룹 B는 통과 안 함 (수동 GSC 만). 발행 후 GSC URL 검사로 색인 시간을 분 단위로 기록했습니다.
명백한 차이. 그룹 A 가 평균 9배 빠름. 또 24h 내 색인율 2배 이상.
Bing 별도 확인 — IndexNow 적용 전 12편, 적용 후 12편 비교. 24h 내 Bing 색인 비율 22% → 87%. Bing 단독으로는 한국어 검색 트래픽이 작지만, IndexNow 가 무료라 적용 안 할 이유가 없습니다.
fail 시 재시도 동작 — 의도적으로 인터넷을 끊고 발행해서 5채널 모두 fail 상태로 만든 후, 인터넷 복구 후 1시간 cooldown 안에 자동 재시도하는지 확인했습니다. 5/5 정상 재시도, 모두 ok 응답.
따라 만드는 법
핵심은 발행 직후 비동기 ping 한 번입니다. 코드는 짧습니다.
import asyncio
import httpx
INDEXNOW_KEY = "your-32char-key"
INDEXNOW_HOST = "yourdomain.com"
async def ping_indexnow(url: str) -> dict:
async with httpx.AsyncClient(timeout=10) as c:
r = await c.post(
"https://api.indexnow.org/IndexNow",
json={"host": INDEXNOW_HOST,
"key": INDEXNOW_KEY,
"urlList": [url]},
)
return {"status": r.status_code, "channel": "indexnow"}
async def ping_rss_hub(feed_url: str) -> dict:
async with httpx.AsyncClient(timeout=10) as c:
r = await c.post(
"https://pubsubhubbub.appspot.com/",
data={"hub.mode": "publish", "hub.url": feed_url},
)
return {"status": r.status_code, "channel": "rss_hub"}
async def ping_all(post_url: str, feed_url: str) -> list[dict]:
return await asyncio.gather(
ping_indexnow(post_url),
ping_rss_hub(feed_url),
return_exceptions=True,
)
# 발행 직후 호출
results = asyncio.run(ping_all(
"https://yourdomain.com/post-url",
"https://yourdomain.com/feeds/posts/default",
))
print(results)
IndexNow 키는 32자 hex 한 줄을 https://yourdomain.com/{key}.txt 위치에 텍스트 파일로 호스팅하면 됩니다. Bing 이 처음 호출 시 이 파일을 검증합니다. 한 번 통과하면 그 이후 모든 ping 이 즉시 처리됩니다.
Google Indexing API 는 service account 인증이 필요해서 코드가 좀 더 길어지지만 위 두 채널만으로도 큰 효과를 봅니다. 우리 기준으로는 IndexNow + RSS hub 두 채널이 가장 가성비 좋습니다.
요약: 발행 직후 IndexNow + RSS hub 두 채널에 비동기 ping 하나만 추가하면 평균 색인 시간이 절반 이하로 줄어듭니다. 글 자체의 품질이나 키워드와 무관하게 적용 가능한 자동화입니다.
Category Coverage Notice
This article follows our label-specific editorial criteria. Details: