fediversesearchのクローラーは、「DNSでIPアドレスが設定されていない場合はDBにフラグを立てる」「初回のクロール時にタイトルなどの情報が取れなければDBに書き込まない」という感じの仕様になっています。 この仕様と検索用APIの「DBでそのURLのDNSステ…