毎週恒例のOSINTニュースです。Twitter、安全な通信、メディア、スパイに関するツールを集めました。
この数週間はOSINTに携わる人々にとって、魅力的であると同時にぞっとするような日々だった。ロシアのウクライナ侵略と偽情報に関する全てのニュースで、大量の仕事に追われました。今週は非常に興味深いトピックをいくつか選んでみた。Twitterを見ながら、ライブのニュースも追いかけ、最後に小さなチュートリアルのようなアイテムを紹介するつもりです。
- Tweepdiff
- Digital Communication Protocols
- VidGrid
- Investigating Disinformation
- The Spy Collection
- Regular Expressions
ツール: Tweepdiff
TweepdiffというBrian Deterlingの新しいオンラインツールについて、@IntelLanaから情報を得た。このツールでは、2つ以上のTwitterアカウントにフォローされているフォロワーやアカウントを探すことができます。便利なのは、ログインの必要がなく、アカウント名を入力するだけで利用できる点だ。
小技: Digital Communication Protocols
Twitterユーザーの@officer_ciaさんが、さまざまな通信プロトコルとそのアプリに関する技術情報をまとめたGoogleシートを公開しています。暗号化技術、プライバシーの状況、互換性、機能などが記載されています。また、特定の主張を裏付ける技術情報へのリンクも掲載されています。これは、特に安全な通信の必要性を感じている人にとって、興味深いリストです。ついでに、@officer_ciaのOpSecに関するGitHubのレポもチェックしてみてください！こちらも一見の価値ありです。
サイト: VidGrid
Loránd Bodóは、Matt TaylorによるVidGridという非常に興味深いオンラインツールを共有しました。これは、ブラウザ上で複数のニュースストリームを見ることができるものです。また、動画をクリックすると、その動画に対応した音声が流れます。シンプルだが、最新のニュースを追うには非常に便利なツールだ。
小技: Investigating Disinformation
Marc Owen Jonesは、ここ数週間の間にいくつかの奇妙なツイートやハッシュタグに気づき、Twitterボットの世界に飛び込むことを決意しました。彼は、NodeXLを使って何千ものメッセージを集め、Twitter上の人々がこれらのメッセージとどのように関わっているかを調べました。彼は、エンゲージメントのテクニックや使用されるアカウントの作成日など、さまざまなトピックを取り上げています。とても有益なスレッドで、これを世界にシェアしてくれてありがとうございます
Twitterのアカウント@SpyCollection1が、なぜか私のタイムラインに流れてきました。この方はかなり以前からYouTubeのチャンネルを持っていて、スパイ関連のガジェットやネタについて話しています。しかし、現在はMediumブログもあり、スパイ、暗号、インテリジェンスの世界のニュースを網羅した週刊ニュースレターを配信しています。これは素晴らしいキュレーションストーリーのソースです。
小技: Regular Expressions
以前、第2021-11号で正規表現のブラウザプラグインを紹介しましたが、先週のちょっとしたヒントを見たとき、これを入れたいと思いました。しかし今回は、正規表現についてもう少し時間をかけて説明し、どのように使うことができるかを説明します。
このヒントは複数の人によってオンラインで共有されましたが、すべては@spiderfootがコンソールやコマンドラインに直接電子メールアドレスをダンプするための正規表現RegExを共有したことから始まりました。
curl -s [URL] | grep -E -o "\b[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+\.[A-Za-z]{2,6}\b"
これはほとんどのメールアドレスに対して有効ですが、少なくともいくつかの調整を行う必要があります。正規表現の仕組みを説明するまでもなく、このクエリには6文字以上のトップレベルドメイン、ドメイン名にダッシュを含むもの（エンコードされてxn--で始まる外国のTLDなど）、メールアドレスの名前部分に公式に認められているその他の文字が含まれていません。そこで、最も一般的な電子メールアドレスを捕捉するために、以下のようなルールにたどり着いた。今のところ、読みやすくするために、許可されている特殊文字のリストはすべて省略することにする。
curl -s [URL] | grep -E -o "\b[a-zA-Z0-9._%$#=+-]+@[a-zA-Z0-9-]+\.[a-zA-Z0-9-]+\b"
読者の中にはRegExが全く初めての方もいらっしゃると思いますので、このWeek in OSINTの続きとして、基本的な正規表現の基本を紹介します。このクエリ言語は非常に強力で、データを扱うときに本当に役に立つ。ドキュメントから電子メールアドレスを抽出したり、ウェブページ内の暗号通貨アドレスを見つけたり、フォルダ内の全URLを取得したりする必要がある場合、すべて可能だ。
基礎編
正規表現を書くときに重要なのは、あなたがこの文章を読んでいるのと同じように、テキストやデータを左から右へ、上から下へと見ていくことです。そして、データの流れをスキャンしながら、文字が一連のルールに一致するかどうかを常にチェックするのです。式は、いくつかのパターンを並べて作ることができ、特定の文字列の異なる部分に、ルールを作ったのと同じ順序でマッチさせることができる。特に指定しない限り、すべて大文字と小文字が区別されることを覚えておいてください。
構文と操作
さまざまな演算子やパターンを挙げればきりがないし、ここで書くよりも簡単なものもあるが、いくつかの基本を説明するために、ごく基本的な正規表現の働きを紹介しよう。まず、2つの単語のうちの1つ、あるいは単語の一部のマッチングから始めましょう。red、blue、yellowのどれかを探したい場合は、単純にそれらをリストアップして、選択肢を縦棒、いわゆる「パイプ」で区切ります。
red|blue|yellow
数字だけで構成されるデータのビットを探したいときは、0から9までの文字の集まりを作ればいいのです。この場合、角括弧を使用して、可能な文字のリストであることを示す。後ろの「＋」記号は、その意味だ。コレクションからマッチする文字が少なくとも1回出現する必要がありますが、無限に繰り返すことができます。
[0-9]+
アルファベットも同様です。このように、大文字と小文字しかない（つまり、スペースやカンマなどを除いた）テキストのすべての部分を検索することが可能です。
[a-zA-Z]+
また、アルファベットの範囲を変更することができるので、通常の数字の他に16進数のようにAからFまでの範囲を作ることも可能です。
[a-fA-F0-9]+
特定の長さを持つ16進数のみ探したい場合は、いくつかの中括弧で特定のルールに従うことができます。1つの数字を含めば、その長さは正確でなければならない。2つの数字を含む場合は、その長さの最小値と最大値を指定することができる。例えば、これは長さが2文字から6文字の間のすべての小文字の16進数を返します。
[a-f0-9]{2,6}
RegExを学ぶ
これは可能なことのほんの一部で、正規表現（RegEx）の基本は比較的簡単に把握できることを示すためのものです。非常に長いクエリを作成する場合、その正確な動作を理解するのは難しいかもしれませんが、これを手助けするツールがあります。クエリを作成し、テストするのに役立つオンラインツールは RegEx101.com です。クエリを書いている間、あるいはクエリを見つけてエディタで解析している間、プロセスのすべてのステップを表示し、すべてが何であるかを説明します。もう一つの似たようなツールは RegExr.com で、これは似たような機能を提供し、チートシートを提供し、さらに自分のクエリをオンラインで保存する機能を備えています。
しかし、もしあなたが全く初めてなら、これらのツールは多分あなたを混乱させるだけでしょう。そこで、RegExOne.comで簡単なエクササイズを行いながら、インタラクティブなオンラインクラスから始めてみてはいかがでしょうか。お楽しみください。
