AI技術は日々進化していて、複雑なタスクにも対応できるようになっています。
私は今回、ChatGPTを活用して、広告審査の仕事に挑戦しました。
理由は3つ。
- 在宅で稼げる
- ドル建てのため時給が割高
- 英語の勉強にもなる
上記の通りです。
しかし、期待していた結果とは異なり、2度も不合格となってしまいました。
この記事では、その理由や苦労した点について振り返りながら、広告審査の仕事の難しさ、chatGPTの苦手なことを解説していきたいと思います。
Telus Internationalの広告審査とは？
Telus Internationalの広告審査は、ウェブサイトや広告の信頼性、コンテンツの品質、ユーザーのニーズに合った結果を評価する仕事です。
具体的には、以下のようなタスクをこなす必要があります。
- ウェブサイトの評価: サイトの目的や信頼性、役立つ情報が含まれているかを判断。
- コンテンツの品質評価: 記事や広告の内容が適切かどうか、情報が正確であるかをチェック。
- ユーザーのニーズに合った結果を提供: 検索結果がユーザーの意図に合致しているかを確認。
このように、広告審査には多くの基準があり、ウェブ広告がこの基準を満たしたものかどうかを判断します。
一見難しくなさそうに見えますが、審査基準を明確に理解する必要があるため、AIであっても苦労する点が多くありました。
どこでこの仕事に応募できるか？
私はバイトルやIndeedなど、一般的な求人サイトでこの仕事を見つけました。
同じような広告審査のお仕事で、welocalizeもあります。そちらも不合格でしたが…
広告審査の試験はこんな内容！
練習問題から1つ抜粋し和訳したものです。興味のある方は問題を解いてみてください。
１～４それぞれTrue（正）またはFalse（偽）を選択します。
例題：
以下のどの結果が「New York Spanish food（ニューヨーク スペイン料理）」の検索クエリに対して、Fully Meets（完全に満たす）評価を受ける可能性がありますか？
選択肢：
１．ニューヨークで最も評価の高いスペイン料理レストランに電話をかける途中の電話番号を表示する結果ブロック。
２・ニューヨークで最も評価の高いスペイン料理レストランのホームページ。
３・ニューヨークで評価の高いスペイン料理レストランの公式ウェブサイトへのリンクが目立つ結果ブロック（訪問に関する情報（例：住所、電話番号）を含む）。
４・ニューヨークでスペイン料理を提供している2つのレストランのリストを表示する結果ブロック。
実際は全て英語で読解します。ちなみにこの例題に対する正解は
- F
- F
- T
- F
です。
これは、特定の店を調べたわけではなく、「複数の候補を知りたい」という検索欲求を満たすものである必要があるため、3のみが正しいことになります。
どれも間違いではなさそうに見えますよね。chatGPTでも正解できないわけです。
1回落ちた
Telus Internationalのお仕事には一度落ちています。
その時は問題をスクショしてchatGPTに丸投げし解かせていました。笑
不合格通知が届いて数日後、再試験の案内メールが。
今度は慎重に。試験前案内もよく読んで挑む
再試験のメールに返信後、この画面のリンクが貼られたメールを受信。
右上の赤くマーカーしたところに試験前の案内があります。
本番の試験前に練習問題を解く
パート１，２，３に分けて練習問題が用意されています。
実際の試験は30分程度で、それをメール受信後約1週間のうちに回答し合格しなければなりません。
chatGPTに問題を解かせてみた
全ての問題が英文で、しかも判断基準が複雑なため、chatGPTの力も借りつつ問題を解いてみました。
まずは丸投げし答え合わせ
前回、ほぼ本文も読まずにchatGPTに回答させ、不合格でした。
その不合格の原因が、受験プロセスを間違っていたのか、回答に誤りがあったのかすら不明。
今回はchatGPTのお手並み拝見ということで、まずは先ほどの例文も含め、何問か解かせてみたんです。
結構な頻度で回答に誤りがあった
すると、chatGPTの回答にはところどころ解釈間違いがあることがわかりました。
例えば、前述した例題の検索クエリ”New York Spanish food（ニューヨーク スペイン料理）”ですが、これをchatGPTは特定の店の名前と認識していました。
（実際はニューヨーク市内にあるスペイン料理店を複数知りたい、という検索意図ですよね）
そのため、もっともらしい回答の解説をつけてくれるのですが、結果が微妙にズレているのです。
これはchatGPTそのものの性能より、「何をするための問題を解いているのか」という背景まで加味していない（そのように細かく指示もしなかった）ためでもあり、広告審査の基準が複雑で独特だとも言えます。
日本語と英語で違う、否定形への反応の仕方も間違いの原因だった
そして何問か回答内容とフィードバックを突き合わせて気づいたことがあります。
日本語で利用しているchatGPTの回答は、あくまで日本語として正しいということ。
例えば、「今日は仕事に行かなくていいんでしょ？」という質問があったとします。
日本語：「うん」
英語：「No」
どちらも「今日は仕事に行かなくていい」という意味の反応です。
ここにポイントがあることを見落としていました。
つまり、chatGPTの回答はところどころTrueとFalseが逆になっているのです。
練習問題で気づいて対策しましたが、結局ここで手こずってしまいました。
結果…不合格
結局今回もパート１の試験で不合格通知が。
自力でも判断した結果なので仕方ないと納得していますが、残念です。独特の判断基準を理解するにはもう少し学習が必要でした。
まとめ
もしもchatGPTに丸投げして時給1,900円なら、結構効率がいいな…と思いチャレンジしましたが、現実はそれほど甘くありませんでした。
そしてこの仕事は私にとっては割に合わないな、という判断に至りました。
事前準備に時間がかかるし、合格するには勉強が必要だし、かなり神経を消耗するからです。応募自体のプロセスもそれほど簡単ではありません。
事前学習が苦でなく、楽しんでじっくり取り組める方であれば、完全在宅という点でよい案件かと思います。
何より合格してお仕事さえもらえれば、時給1,900円はありがたい金額ですよね！
お仕事報告はできませんが、この記事が応募を検討している方のお役に立てれば幸いです。