fediversesearchのクローラーは、「DNSでIPアドレスが設定されていない場合はDBにフラグを立てる」「初回のクロール時にタイトルなどの情報が取れなければDBに書き込まない」という感じの仕様になっています。 この仕様と検索用APIの「DBでそのURLのDNSステ…

数年前（8年前ぐらいか？）ぐらいに「WindowsじゃなくてAndroidのスマホやタブレットからLinux(一番作るのが簡単なのはUbuntuか？）のインストール用USBメモリが作れれば楽なのに」と思ってAndroidアプリがあるか探したことがありますが、探し方が悪かったの…

知識不足なので手探りでやっていくしかないですけどね。 sudo apt update sudo apt install npm でnpmをまずインストール。 npm install -g fast-cli でfast-cliをインストール。うちの環境だとそのまま「fast」では呼び出せない。bash_profileとかにいろい…

Insider Previewを使っていた時からか、いつのまにかWindowsセキュリティの画面を表示しようとすると以下のような画面が表示されてどうしようもなくなることになりました。 セキュリティ機能は動いているようなので、レジストリか何かがおかしくなっているの…

第３回目は、fediversesearch-crawlerです。これで、システムとしてまともに動くようになります。前回、前々回の記事はこちら。 www.kaias1jp.com www.kaias1jp.com 今回対象とするOS 今回対象とするOSは、Ubuntu 20.04.2 LTSとします。 構築手順 前準備（fe…

今回は、WebUIのfediversesearch-feの構築手順です。サービス本体の構築方法については、以下の記事を参照してください。www.kaias1jp.com 今回対象とするOS 今回対象とするOSは、Ubuntu 20.04.2 LTSとします。 構築手順 前準備（fediversesearch-serverとサ…

一通りソースコードをgithubにアップロードしたので、テスト環境を構築しながら構築手順をまとめてみます。 まずは、fediversesearch-serverについてまとめます。 今回対象とするOS 今回対象とするOSは、Ubuntu 20.04.2 LTSとします。 構築手順 OSの最新化 …

ファイルサーバーを置き換えたため、ThinkCentre M75q-1 Tinyを再びメインのデスクトップPCにしました。普通のソフトは問題ないんですが、１つだけ問題のあるソフトが。「DiXiM Play」です。AMD APUの内蔵グラフィックスを使っていると動かない、対処方法が…

fediversesearchは、基本となるサーバー部とWebUIに関してはほぼ完成しました。クローラーに関しては初期に作成したコードがあり「クロールする」という点では動いていたのですが、運用する場合に「どこがボトルネックになっているのか調査しにくい」構造に…

この前、接触式カードリーダーでLinuxのログイン認証を試しました。 www.kaias1jp.com まあ、上手く行ったのですがやはり非接触式が欲しいと思い、「ADVANCED CARD SYSTEM ACR1251U-A1 スマートカードリーダー」を購入しました。 www.popnja.com Linuxでも使…

先日、ポメラのDM200を購入しました。 DM200には、「アップロード」という名のメール送信機能があります。これを使ってまずはDM200からOneDriveにファイルを登録します。そのために、IFTTTを使いました。 「Email」と「OneDrive」を組み合わせています。DM20…

時間があるので、マイナンバーカードのPAM認証をArch Linuxでやってみました。 今回の環境は、ThinkPad X201で構築しています。まずは参考文献から。 www.osstech.co.jp www.osstech.co.jp www.r-cnct.com今回使用するのは「SCR80」という接触式カードリーダ…

Cutls氏が開発している「TheDesk」というデスクトップアプリがあります。このアプリは、Windows/Mac/Linuxのデスクトップで動くマストドン・misskeyなどなどのクライアントアプリです。thedesk.top 1m.cutls.com実は、fediversearchを公開した時に「APIあっ…

mastodonの全文検索ですが、オリジナルのソースコードを使用している場合はインデックスの更新は適宜行われます。 ただし、私のように公開タイムラインのトゥートまで検索対象にしている場合は、ソースコードのかなり深いところまで手を入れないと更新されま…

前段をcloudflareにしているんですが、いまいち反応が鈍い。そういえばnginxにcacheを設定していなかったなと思い色々調べたところ、tmpfsにcacheを持たせられるらしいことがわかったので試してみました。arakoki70.comblog.katsubemakito.netblog.splout.co…

fediversesearchですが、オプトアウトによる検索対象除外処理を実装できたのでクローラーを除くソースコードをひとまず公開しました。github.comgithub.comフロントエンドとバックエンドを分離しているのは、単に趣味なだけです。DBからむ実装とWeb系は分離…

実は「パス形式での S3 API リクエスト」はいつかできなくなるかもしれないという話がありました。dev.classmethod.jpaws.amazon.comで、うちのサーバはバケット名にドット（.）を使用しているので完全にあかんのですね。なので、新規にバケットを作成しても…

DBに格納されているURIに対してクロールを実行し終わり、有効なURIのうちサーバーのソフトウェア種別が取得できるものはある程度種類を絞り込んだうえでDBに保存しました。ソフトウェア種別に関してはどう取得したらいいか悩んでいたのですが、分散SNSのフォ…

fediversesearchのモバイル画面ですが、いままでは「ひとまずスマホの画面に収まるぐらいのサイズで」という感じで検索結果を出していました。 今のところ取得できるサーバの情報もほぼ取得し終わりましたので、もう少しまともな画面に直しました。まずは、…

ロケール指定がない場合、デフォルト言語であるenを表示するようにしていましたが、さすがに不便だろうと思いましてロケール指定がされていない場合にブラウザの優先使用言語を取得して自動的に切り替えるようにしました。pisuke-code.comまずはパラメータ指…

新しいデータのクロールをいい加減にしていたので気づかなかったのですが、セカンダリDBを昇格させたあとからINSERTに失敗していたようです。全文検索はできていたので問題が起きているとは気づかなかった。なぜ気づいたかというと、つい先日フォロアーが新…

複数キーワードによるAND検索ができるようになったfediversesearchですが、できればユーザ登録可能なサーバーをサッと見たいですよね。ということで、「登録可能」チェックボックスを追加して、ユーザ登録できるサーバーを先に絞り込めるようにしました。デ…

分散SNS専用の検索エンジンとして開発したfediversesearchは、まずはリリースすることを優先して検索機能は簡単にILIKEで実現していました。 この方法だと、複数キーワードでの絞り込みなどができないので、調べたうえでPGroongaを採用しました。採用理由と…

www.fediversesearch.comで使用している検索APIを公開します。WebAPIですので、インターネットに接続できる環境であればどなたでもご利用になれます。URL: https://www.fediversesearch.com/search/ パラメータ: 「?keyword=キーワード」。キーワードには日…

fediversesearchですが、まずは検索できることが先だったのでILIKE指定によるキーワード１つの検索だけできるようになっていました。 先ほど、PGroongaを導入して複数キーワード指定での検索をできるようにしました。 導入方法は以下を参照しました。pgroong…

分散SNSサーバの検索サービスであるfediversesearchですが、さきほどmobile layoutを導入しました。まあ、スマホとかの時は項目を削っただけなんですけどね。こういうのがこうなります。DBへの検索は変更していませんので単純に表示だけ違います。 サイトは…

分散SNSの投稿を検索できるサービスはあるのですが、サーバを検索するサービスが無いようなので作ってみました。www.fediversesearch.com今のところ、私のサーバ（popon.pptdn.jp）・mstdn.jp・mastodon.social・pawoo・fedibird.comの /api/v1/instance/pee…

ちょっと実験も兼ねて、mastodonを連合許可モード（旧：ホワイトリストモード）で立ち上げてみました。ひとまず、ドメインとVPSを確保します。今回は、lightsailの2GBメモリモデル（月$10）を使用しています。OSはUbuntu 20.04です。 VPSが出来たらsshでログ…

mastodonでchewy:deployしているとたまにtimeout以外のエラーになることがあります。サーバ側のエラーを見てみると、このようなエラーが出ています。/var/log/elasticsearch/elasticsearch.log already closed by tragic event on the index writer java.lan…

mastodonの全文検索は標準ならElasticsearchを使います。今回はこの仕組みを使う上でのお話です。「DBを直接読めばいいやんけ」という人は頑張ってください。さて、この全文検索ですがいろいろ制限というか面倒な話があります。 標準のソースコードでは検索…