カスタム検索エンジンで企業データを検索する


組織に関する機密情報を探し出すことは、OSINTの実務家にとって重要なスキルです。フィッシングの偵察であれ、文書を探す調査報道であれ、雑音を排除し、企業や組織に関連する有用な情報を見つける能力は不可欠です。

Google dorksの使用は、検索をフィルタリングするのに便利なテクニックです。例えば、英国政府のPDFファイルを探すドークは、次のようなものです。

site:gov.uk filetype:pdf

dorksは強力ですが、同じサイトに同じdorksを何度も入力することになります。

もし定期的に反復的な OSINT タスクを実行しているなら、できる限り自動化してプロセスをより効率化する方法を検討する価値がある。この記事の残りの部分では、Googleの力を利用して、興味深いデータをより簡単に見つけるための独自のプログラム可能な検索エンジンを作成する方法を見ていく。このチュートリアルのような検索エンジンを使えば、PDFやOffice文書などのファイル、電子メール、電話番号、あるいは機密性の高いビジネス情報まで見つけることができる。

Programmable Search Engines

Googleは、ユーザーが特定のニーズに合わせて高度にカスタマイズされた検索ツールを作成することができるプログラマブル検索エンジンの作成を許可しています。検索エンジンを作成するには、Googleアカウントにログインして、https://programmablesearchengine.google.com にアクセスします。ログイン後、「新しい検索エンジンを作成する」をクリックします。このようなメニューが表示されます。


検索エンジンに名前をつけます。

次に、検索したい場所を正確にGoogleに伝える必要があります。これは、ツールを設定する上で最も重要な部分なので、正しく設定するために少し時間を費やす価値があります。

冒頭のGoogle dorkの例では、site: フィルタを使って、ある特定のドメイン内のみを検索するようにGoogleに指示しました。これは便利だが、毎回同じ10~20のサイト内を検索したい場合はどうすればいいのだろうか?そのために検索クエリを書き出すとなると、時間がかかってしまいます。代わりに、プログラム可能な検索エンジンを使えば、Googleに一度だけ伝えるだけで、毎回同じ検索エンジンのクエリを再利用することができます。

Adding Sites To Search


サイトを追加するには、「特定のサイトまたはページを検索する」オプションを選択します。流出した情報を探すことになるので、Pastebinのコンテンツもすべての検索対象に含めたい。

pastebin.comドメイン全体を検索するには、*.pastebin.com/*を入力し、Addをクリックしてください。ドメインの前後にワイルドカードの*を追加することで、Googleはドメイン全体からのデータを含むことを保証します(Googleがサイトのその部分をインデックスしている場合)。

検索エンジンに追加するドメインは、まさにあなたが見つけたいデータの種類によって異なります。以下は、検討すべきいくつかの例です。

slideshare.net - 企業が第三者と共有するために、ここにプレゼンテーションを掲載することがよくあります。売上予測、技術スタック、電子メールアドレス、会社の人事に関する情報はここで見つけることができます。



Github.com - 開発者は機密コード、秘密鍵、電子メールアドレス、その他の有用なスニペットをここに残します。

StackOverflow.com - 世界最大のコードトラブルシューティングのためのサイトです。開発者が他の人に助けを求める際に、修正されていない会社のデータをここに投稿することがあることを意味します。

Scribd.com - ユーザーがあらゆる種類のPDFやドキュメントをアップロードして共有することができます。

Trello.com - Trelloは共同作業とプロジェクト管理のためのプラットフォームです。社員名、会社のプロジェクト情報、連絡先、カレンダー、そして(時には)パスワードや機密文書も検索できます。

s3.amazonaws.com - この検索語は、さまざまな文書やファイルを含むオープンなAmazon S3バケットを見つけることができます。

Chegg.com - これは、ユーザーが学習しようとしている事実をアップロードして共有するフラッシュカード学習サイトです。Bellingcatが、米軍関係者がテストの準備のために核兵器に関する機密情報をアップロードしていたことを発見した経緯は、こちらで読むことができます。

これらはほんの一例です。追加できるドメインの数に制限はなく、ニーズの変化に応じていつでもドメインの追加や削除が可能です。

準備ができたら キャプチャを完了し、"作成 "をクリックします。

Using Your Search Engine

検索エンジンが作成されると、独自のURLが作成され、https://cse.google.com/cse?cx=xxxxxxxxxxxxx のように表示されます。このURLに直接アクセスすることで、検索エンジンにアクセスすることができます。Googleはまた、自分のウェブページに検索エンジンを埋め込むオプションも提供しています。

簡単な例を挙げましょう。自動車メーカーのフォルクスワーゲンについて情報を集めたいとします。通常のGoogleの検索エンジンを使う代わりに、特注の検索エンジンを使えばいいのです。なぜなら、これらの特定のサイトが、欲しいデータを見つける可能性が最も高い場所だと知っているからです。

「volkswagen.com」をストレートに検索すると、1ページ目にソフトウェアプロジェクトやマーケティングスライドなどの資料が表示されます。


その他にも、興味を引くような情報がたくさんあります。ここではそのいくつかをご紹介します。




プログラマブルサーチエンジンを使えば、同じサイトに何度も同じドークをかける必要はありません。検索対象を一握りのドメインに限定することで、より迅速かつ容易に有用な結果を得ることができるのです。さらに限られた数のドメインからしか検索しないにもかかわらず、filetype:、intext:、-(否定)などの通常のGoogleフィルターを使用して、結果を細かく調整することが可能です。

カスタム検索エンジンは非常に効果的なツールであり、定期的に調整し改良することで、非常に有用な追加ツールとなります。