フィッシング詐欺、つまり不正なリンクをクリックさせるために送られる詐欺メール。この厄介な問題に対抗するため、ハーバード大学、MIT、KTH Royal Institute of Technologyなどの研究者チームが、大規模言語モデル（LLM）と人間のフィッシング能力を比較しました。その結果、驚くべきことに、小規模な人間モデル（つまり、人間自体）が勝利しました。

さらに興味深いことに、この研究ではLLMと人間の組み合わせ（LLM＋人間）が、人間単体と同等かそれ以上の効果を示したことも明らかになりました。これは、先端技術と人間の独自の能力が組み合わさることで、新たな可能性が広がることを示しています。

参照論文情報

• タイトル：Devising and Detecting Phishing: Large Language Models vs. Smaller Human Models
• 著者：Fredrik Heiding, Bruce Schneier, Arun Vishwanath, Jeremy Bernstein
• 所属：ハーバード大学、MIT、KTH Royal Institute of Technologyなど
• URL：https://doi.org/10.48550/arXiv.2308.12287

関連研究

• 大規模言語モデルのセーフガードを故意に突破する「脱獄プロンプト」とは
• キーボード打鍵音から入力文字を特定するハッキング技術の精度が高いことが判明
• カーネギーメロン大など、大規模言語モデルの脆弱性を突く攻撃手法が存在することを指摘

研究背景：フィッシング攻撃と先端技術の脅威

フィッシング攻撃の歴史

フィッシング攻撃は、20年以上前から存在する厄介な問題です。この攻撃は、人間心理を突いた巧妙な詐欺メールを送り、不正なリンクをクリックさせることを目的としています。特に、個々の受信者に合わせてカスタマイズされたメールが送られることが多く、これが攻撃の成功率を高めています。

先端技術の脅威

近年の技術進歩により、大規模言語モデル（LLM）などの先端技術がこのような攻撃に利用される可能性が高まっています。LLMは、少量のデータから高度にパーソナライズされたテキストを生成する能力を持っています。

研究の目的

研究者らは、LLMが生成するフィッシングメールと、人間が手動で作成するフィッシングメールの効果を比較しました。この研究の主な目的は、先端技術の脅威性を評価し、それが人間によるフィッシング攻撃にどれだけ匹敵するのかを明らかにすることです。

対戦テーマ：フィッシングメールのクリック率を競う

実験の設計と目的

この研究の主なテーマは、より効果的なフィッシングメールを作成することです。実験はその目的に対して設計されました。

112人のランダムに選ばれた参加者に対して、各モデル（大規模言語モデルと人間）が作成したフィッシングメールを送信し、そのメールがクリックされる率（クリック率）を競います。

参加者の選定と動機付け

参加者は大学キャンパスやその周辺地域でのポスター広告、さらには大学関連のメールグループを通じて募集されました。参加者は事前にいくつかのプロフィールを提供しました。この情報は、フィッシングメールをよりパーソナライズするために使用されました。参加者には、研究が終了した後にAmazonの$5ギフトカードが提供されました。

メールの送信プロセス

フィッシングメールは、研究者の個人的なGmailアカウントから送信されました。送信者のアドレスは「Starbucks summer of ’23」と偽装されていました。これはスパムフィルターを回避するための工夫の一つです。メールは午前10時30分から午後2時までの間に10通ずつ送信されました。もし参加者がメール内のリンクをクリックしなかった場合、3日後に同じメールが再送されました。

対戦カード：GPT-4 vs V-Triad

GPT-4：大規模言語モデルの代表

GPT-4（Generative Pre-trained Transformer 4）は、OpenAIによって開発された大規模言語モデル（LLM）です。このモデルは、さまざまなタスクにおいて優れたパフォーマンスを発揮します。特に、少量のデータから高度にパーソナライズされたテキストを生成する能力があります。GPT-4は、テキスト生成だけでなく、テキスト解析や質問応答など、多くのNLP（自然言語処理）タスクにも使用されています。

V-Triad：人間のフィッシングメール作成システム

V-Triadは、人間が手動でフィッシングメールを作成するために開発されたシステムです。このシステムは、人間の心理的な側面、特にサイバーリスクに対するポリシーを考慮に入れています。

ユーザーはV-Triadを通して、受信者が疑わずにリンクをクリックする可能性が高くなるようなメールを作成することができます。人間の認知的な偏見や経験則を利用して、効果的なフィッシングメールを設計するためのシステムです。

両者の組み合わせ

GPT-4とV-Triadを組み合わせた場合、それぞれの長所が補完され、更に効果的なフィッシングメールが生成される可能性があります。この組み合わせが、人間（V-Triad）だけよりもメールのクリック率が良いかが検証されました。

対戦結果：人間の勝利、しかし組み合わせも有望