本ページは、AWS に関する個人の勉強および勉強会で使用することを目的に、AWS ドキュメントなどを参照し作成しておりますが、記載の誤り等が含まれる場合がございます。
最新の情報については、AWS 公式ドキュメントをご参照ください。
フルマネージドのキューイングサービスです。
【AWS Black Belt Online Seminar】Amazon Simple Queue Service(YouTube)(58:54)
- プロデューサー（Producer）
- メッセージを SQS に送信するアプリケーション
- コンシューマー（Consumer）
- SQS からメッセージを取り出すアプリケーション
- Pull 型（コンシューマー側から一定間隔でデータ有無を確認する）
- メッセージ（Message）
- 送受信されるデータ
- キュー（Queue）
- メッセージをためておく場所
- 標準キュー
- FIFO キュー
違いは、アプリケーション間連携を疎結合で実現。「Amazon SQS」をグラレコで解説 の図が分かりやすいです。
メッセージ送信時に MessageGroupId を指定することで、メッセージをグループ化できます。
FIFO キューでは、グループ単位で順序が保証されますが、異なるグループ間では順序は守られません。
aws sqs send-message \
--queue-url ${QUEUE_URL} \
--message-body '{"message": "test"}' \
--message-group-id Group1 \
FIFO キューで指定することで、5分間 は同一の重複排除 ID ID のメッセージが受け付けられないようになるという機能です。
aws sqs send-message \
--queue-url ${QUEUE_URL} \
--message-body '{"message": "test"}' \
--message-group-id Group1 \
--message-deduplication-id "Deduplication${i}"
キューの属性で、コンテンツに基づく重複排除 のオプションを ON にした場合は、重複排除 ID の事前指定は不要になります。
SQS ではメッセージを取得しても自動で削除されることはありません。コンシューマー側が処理済みとして削除するか、メッセージの保持期間が過ぎて削除されるかです。 複数のコンシューマーがメッセージを読み取った場合、重複して処理されてしまう可能性があるため、可視性タイムアウトという処理中のメッセージが他のコンシューマーからは取得できなくする機能があります。0 秒から 12 時間が指定できます。デフォルト値は 30 秒です。 コンシューマーは、可視性タイムアウトの時間に取得したメッセージを削除する必要があります。可視性タイムアウトの時間が過ぎると、メッセージを削除できなくなり、他のコンシューマーが取得できる状態になります。
メッセージの処理時間が不明な場合、可視性タイムアウトを 1 分毎に 2 分間延長することもできます。 タイムリーな方法でのメッセージの処理メッセージの可視性タイムアウトの変更
標準キューの場合は、メッセージの順序保証がないキューのため、他のコンシューマーがアクセスした場合、次のキューを取り出すことができます。 FIFO キューの場合は、メッセージの順序が重要であるため、可視性タイムアウト時間が過ぎるか、メッセージが削除されるまで、次のキューを取得することが出来ません。ただし、他のメッセージグループからはメッセージを取得することが出来ます。
プロデューサー側からキューに新しいメッセージが送信された後に、指定した時間が経過してからコンシューマー側にメッセージが表示されるようにする設定です。0 秒から 15 分までの間を指定できます。
メッセージタイマー
キュー全体に指定する遅延キュー以外に、メッセージ個別に設定できるメッセージタイマーという機能があります。遅延キューと同時に指定された場合、メッセージに設定されたメッセージタイマーのほうが優先されます。0 秒から 15 分までの間を指定できます。
aws sqs send-message \
--queue-url ${QUEUE_URL} \
--message-body '{"message": "test"}' \
--delay-seconds 900
メッセージ取得までの待機時間です。0 秒から 20 秒まで指定することができます。0 秒を指定すると、ショートポーリングになります。
ショートポーリングとロングポーリング
- ロングポーリング
- 通常はこちらを利用する。単一のキューをポーリングする多くのケースで有効。
- メッセージが空だった場合、最大 20 秒の間待機してメッセージの受領を待つ。それでも空だった場合に「空」応答を返す。
- ショートポーリングに比べて API コール数が減る（コストダウン）
- ショートポーリング
- メッセージがなかったら、即座に「空」応答を返す。
- 主に、複数のキューをポーリングする場合に即時空応答が返ってくるほうが良い場合に。
- ロングポーリングに比べて API コール数が増える（コストアップ）
キューに登録されたメッセージは明示的に削除処理を行われない限りデフォルトで 4 日間保持、1 分から 14 日設定できます。
コンシューマーアプリケーションに障害があった場合、この保持期間内に復旧できれば、キューに貯まったメッセージを処理することができます。しかし、期間を過ぎてしまうと処理することが出来なくなってしまうので注意が必要です。
キューのメッセージサイズで、1KB から 256KB の範囲を指定できます。デフォルト値は 256 KB です。
256 KB を超えるメッセージを送信したい場合、「Java 用 SQS 拡張ライブラリ」と「S3」を利用します。これによって「2 GB」までのメッセージを扱えるようになります。
メッセージの受信者に正常に配信できなかった場合に格納する SQS のキューを指定できます。 これにより、エラーの分析や、再処理などを行うことができます。
AWS KMS を利用して、トピック内のメッセージを暗号化することができます（サーバ側の暗号化（SSE）） 暗号化されたメッセージは、配信時に自動的に復号されて配信されます。
指定できるキーは、デフォルトの alias/aws/sqs と 作成済みの CMK を指定できます。
