Loading...

Amazon Bedrock

2025/03/12 19:16
2025/03/15 13:43

基礎的な概念

Hello, Bedrock

東京リージョンで Anthropic Claude 3.5 Sonnet を AWS CLI から使う
$ aws bedrock-runtime converse \
    --model-id "apac.anthropic.claude-3-5-sonnet-20241022-v2:0" \
    --messages '[{ "role": "user", "content": [ { "text": "日本の首都はどこですか" } ] }]' \
    --query 'output.message.content[*].text' \
    --output text \
    --region ap-northeast-1

日本の首都は東京です。正確には「東京都」で、23の特別区と多摩地域、島しょ部から構成されています。1868年に江
戸から東京に改称され、明治維新以降、日本の政治、経済、文化の中心として発展してきました。現在は世界有数の大
都市であり、日本の政治、経済、文化の中心地として機能しています。
各モデルの入出力形式やストリーミング可否は Bedrock ListFoundationModels API で確認可能
$ aws bedrock list-foundation-models

{
    "modelSummaries": [
        {
            "modelArn": "arn:aws:bedrock:ap-northeast-1::foundation-model/amazon.titan-text-express-v1:0:8k",
            "modelId": "amazon.titan-text-express-v1:0:8k",
            "modelName": "Titan Text G1 - Express",
            "providerName": "Amazon",
            "inputModalities": [
                "TEXT"
            ],
            "outputModalities": [
                "TEXT"
            ],
            "responseStreamingSupported": true,
            "customizationsSupported": [],
            "inferenceTypesSupported": [],
            "modelLifecycle": {
                "status": "ACTIVE"
            }
        },
        ...
  • リクエストの内容はモデルによって異なるが Management Console の Playground から各モデルに対するパラメタの例を簡単に確認できる
  • モデルによる推論には下記の 3 つの方法がある
    • InvokeModel
    • InvokeModelWithResponseStream
    • Converse

基礎的な用語

  • トークン

Claude の基礎

  • Temperature: 出力のランダム性(0〜1)で 1 に近いほど創造的タスク向け、0 に近いほど分析や条件に基づく結果の選択などのタスクに向く
  • TopP: トークン生成のサンプリング範囲を決定する値(0〜1)
    • ランダムな回答を減らしたい場合は小さい値を、ランダムな回答を増やしたい場合は大きい値を指定
  • TopK
    • ランダムな回答を減らしたい場合は小さい値を、ランダムな回答を増やしたい場合は大きい値を指定