高品質なアノテーションを行うためには、以下の条件を満たす必要があります。
1）優秀なアノテータ―を採用する
2）早期に仕様やルールを固める
3）最適なプロジェクト体制のもとでアノテーションを行う
Ⅰ 優秀なアノテーター
優秀なアノテータ―とは、文字起こしやタグ付けのミスが少なく、スピードの早いアノテータ―です。
当社は10年以上の実績を持つ文字起こしサービスを運営しておりますが、当初はそこで鍛えられたライターをアノテータ―として採用しました。
以下は、当社のアノテータ―と一般のアノテータ―のエラー率の比較を表しています。
1. 100発話を1つのファイルにし、文字起こしと発話のラベル付け(カテゴライズ)を実施。
2. 3つのファイル×2ラベル(文字起こし+1ラベル)×各5名、合計3,000ラベルで、エラー率を算出。
当社のアノテータ―のエラー率は、一般のアノテータ―の10分の1以下となりました。
エラー内容を分析すると、不鮮明な発音の聞き取り能力など、文字起こし経験の有無がある程度は影響していましたが、エラーの多くは品質に対する意識の高さで改善できるものでした。
これは、一般のアノテータ―が品質に対する意識が低いと言うのではなく、文字起こしと言う、品質で単価が決まる仕事を常日頃されている当社のアノテータ―は、品質に対する意識の高さが各段に違うのではないかと推論しています。
それを裏付けるように、当社のアノテータ―は慣れないうちは非常に慎重に仕事をされていることが、以下の一般のアノテータ―とのスピード比較で分かります。
ただし、3ファイル目（約5時間後）には、ほぼ同じスピードになりました。
アノラボでは、品質に対する意識強化の教育や報酬体系を採用することで、今では文字起こし出身のアノテータ―と同じ品質を確保できるアノテータ―の採用が増えつつあります。
Ⅱ 早期の仕様・ルール固め
アノラボでは、サンプル入手後のスタッフ総動員による徹底検証、フィードバックのトレーニングを受けたアノテータ―によるアノテーション開始直後の初期流動体制、その後の継続的な情報共有体制により、早期に仕様やルールから曖昧さを排除していきます。
曖昧さをいくら排除しても、個人の感じ方や価値観、深読み具合でアウトプットは変わってくるのが仕様やルールですが、当社には、そうした個人間のバラツキを最小限にとどめるルール作りのノウハウがあります。
Ⅲ 最適なプロジェクト体制
経験豊かなプロジェクトリーダーのもと、それぞれのプロジェクトに最適なプロジェクト体制を構築し、進捗、品質、コミュニケーション、各アノテータ―の負荷などをモニタリング/コントロールし、AI開発会社様、ユーザー様とも情報を共有します。
検査工程には、特に優秀なアノテータ―を配置し、品質管理リーダーがアノテータ―の教育と工程品質のパトロールを担当しています。
目標の精度が出ずお困りのAI開発会社様、ぜひ一度、アノラボにご相談ください。