当我使用查询或扫描操作从 Amazon DynamoDB 表中提取项目时,响应未返回完整结果。
解决方法
出现此问题是由于以下两种情况:
- 您的初始查询或扫描操作的响应中包含 LastEvaluatedKey。
- 您没有在下一个执行后续操作的请求中将此密钥用作 ExclusiveStartKey。
要解决此问题,请为您的 DynamoDB 表实现分页。分页是在先前的请求未完成时发送后续请求以继续的过程。DynamoDB 中的查询或扫描操作可能返回不完整的结果,需要发送后续请求来获取整个结果集。这是因为 DynamoDB 会对查询或扫描操作的结果分页,并在单个操作中最多返回 1MB 的数据。数据上限在 DynamoDB 中是一个硬性限制。使用分页时,扫描和查询操作的结果被分成不超过 1 MB 的数据页面。
要在 Amazon DynamoDB 中实现分页,使用内置分页功能。运行与以下示例类似的命令:
use DynamoDB.Paginator.Query.paginate
client = boto3.client("dynamodb")
paginator = client.get_paginator("scan")
params = {}
for page in paginator.paginate(params):
# do something
您也可以对结果进行分页,然后一次在一个页面中检索结果。要查看结果是否包含 LastEvaluatedKey 元素,检查扫描或查询操作的低级结果。要获得其余结果,使用具有相同参数的另一个扫描或查询操作。对于第二个操作,使用 LastEvaluatedKey 作为 ExclusiveStartKey 参数。如果结果不包含 LastEvaluatedKey 值,说明没有要检索的项目。
有关更多信息,请参阅对表查询结果进行分页和对结果进行分页。
要使用 LastEvaluatedKey 在 Boto3 中实现分页,运行与以下示例类似的命令:
from __future__ import print_function # Python 2/3 compatibility
import boto3
from botocore.exceptions import ClientError
# Create Client
session = boto3.session.Session()
dynamoDbClient = session.client('dynamodb')
table_name = 'AmazonBins'
# Track number of Items read
item_count = 0
try:
# Get the first 1MB of data
response = dynamoDbClient.scan(
TableName=table_name
)
except ClientError as error:
print("Something went wrong: ")
print(error.response['ResponseMetadata'])
# Track number of Items read
item_count += len(response['Items'])
# Paginate returning up to 1MB of data for each iteration
while 'LastEvaluatedKey' in response:
try:
response = dynamoDbClient.scan(
TableName=table_name,
ExclusiveStartKey=response['LastEvaluatedKey']
)
# Track number of Items read
item_count += len(response['Items'])
except ClientError as error:
print("Something went wrong: ")
print(error.response['ResponseMetadata'])
print("Total number of items found: {}".format(item_count))