TecTop
|
|
Utiliza aplicaciones de mapas todos los días para encontrar su restaurante favorito o viajar por la ruta más rápida utilizando datos geoespaciales. Hay dos tipos de datos geoespaciales: datos vectoriales que utilizan geometrías bidimensionales, como la ubicación de un edificio (puntos), carreteras (líneas) o límites terrestres (polígonos), y datos ráster, como imágenes satelitales y aéreas.
El año pasado, presentamos Amazon Location Service, que facilita a los desarrolladores agregar funciones de ubicación a sus aplicaciones. Con Amazon Location Service, puede visualizar un mapa, buscar puntos de interés, optimizar rutas de entrega, rastrear activos y usar geofencing para detectar eventos de entrada y salida en su límite geográfico definido.
Sin embargo, si desea realizar predicciones a partir de datos geoespaciales mediante el aprendizaje automático (ML), existen muchos desafíos. Cuando estudié sistemas de información geográfica (SIG) en la escuela de posgrado, estaba limitado a un pequeño conjunto de datos que cubría solo un área estrecha y tenía que lidiar con un almacenamiento limitado y solo con la potencia informática de mi computadora portátil en ese momento.
Estos desafíos incluyen 1) adquirir y acceder a conjuntos de datos geoespaciales de alta calidad es complejo, ya que requiere trabajar con múltiples fuentes de datos y proveedores, 2) preparar datos geoespaciales masivos para capacitación e inferencia puede llevar mucho tiempo y ser costoso, y 3) las herramientas especializadas son necesario para visualizar datos geoespaciales e integrarse con la infraestructura de operaciones de ML
Hoy me complace anunciar el lanzamiento preliminar de Amazon SageMakerLas nuevas capacidades geoespaciales de que facilitan la creación, el entrenamiento y la implementación de modelos ML utilizando datos geoespaciales. Esta colección de funciones ofrece modelos de redes neuronales profundas (DNN) preentrenados y operadores geoespaciales que facilitan el acceso y la preparación de grandes conjuntos de datos geoespaciales. Todas las predicciones generadas se pueden visualizar y explorar en el mapa.
Además, puede usar la nueva imagen geoespacial para transformar y visualizar datos dentro de cuadernos geoespaciales usando bibliotecas de código abierto como NumPy, GDAL, geopandasy rasterioasí como bibliotecas específicas de SageMaker.
Con unos pocos clics en la consola de SageMaker Studio, un entorno de desarrollo completamente integrado (IDE) para ML, puede ejecutar un trabajo de Observación de la Tierra, como una segmentación de cobertura terrestre o cuadernos de lanzamiento. Puede traer varios datos geoespaciales, por ejemplo, sus propios datos satelitales de Planet Labs de Amazon S3, o Servicio Geológico de EE. UU. LANDSAT y centinela-2 imágenes de Datos abiertos en AWSAmazon Location Service, o traiga sus propios datos, como datos de ubicación generados a partir de dispositivos GPS, vehículos conectados o sensores de Internet de las cosas (IoT), tráfico peatonal en tiendas minoristas, geomarketing y datos de censos.
Las capacidades geoespaciales de Amazon SageMaker admiten casos de uso en cualquier industria. Por ejemplo, las compañías de seguros pueden usar imágenes satelitales para analizar el impacto de los daños causados por desastres naturales en las economías locales, y las compañías agrícolas pueden rastrear la salud de los cultivos, predecir el rendimiento de las cosechas y pronosticar la demanda regional de productos agrícolas. Los minoristas pueden combinar datos de ubicación y mapas con inteligencia competitiva para optimizar las ubicaciones de nuevas tiendas en todo el mundo. Estos son solo algunos de los ejemplos de casos de uso. ¡Puedes convertir tus propias ideas en realidad!
Presentación de las capacidades geoespaciales de Amazon SageMaker
En la vista previa, puede utilizar SageMaker Studio inicializado en la región EE.UU. Oeste (Oregón). Asegúrese de configurar el Jupyter Lab 3 predeterminado como la versión cuando cree un nuevo usuario en Studio. Para obtener más información sobre la configuración de SageMaker Studio, consulte Integración en el dominio de Amazon SageMaker mediante la configuración rápida en la documentación de AWS.
Ahora puedes encontrar el geoespacial navegando a la página de inicio y desplazándose hacia abajo en el nuevo SageMaker Studio Lanzacohetes pestaña.
Aquí hay una descripción general de tres capacidades geoespaciales clave de Amazon SageMaker:
- Empleos de Observación de la Tierra – Adquiera, transforme y visualice datos de imágenes satelitales para hacer predicciones y obtener información útil.
- Empleos de Enriquecimiento vectorial – Enriquezca sus datos con operaciones, como convertir coordenadas geográficas en direcciones legibles de archivos CSV.
- Visualización de mapas – Visualice imágenes satelitales o datos de mapas cargados desde un archivo CSV, JSON o GeoJSON.
¡Vamos a profundizar en cada componente!
Comience con un trabajo de observación de la Tierra
Para comenzar con los trabajos de Observación de la Tierra, seleccione Crear trabajo de Observación de la Tierra en la primera página.
Puede seleccionar una de las operaciones geoespaciales o modelos ML según su caso de uso.
- Índice espectral – Obtener una combinación de bandas espectrales que indiquen la abundancia de características de interés.
- Enmascaramiento de nubes – Identifique píxeles de nubes y sin nubes para obtener imágenes satelitales claras y precisas.
- Tierra Segmentación de cobertura – Identificar tipos de cobertura terrestre, como vegetación y agua, en imágenes satelitales.
SageMaker proporciona una combinación de funcionalidades geoespaciales que incluyen operaciones integradas para transformaciones de datos junto con modelos de aprendizaje automático preentrenados. Puede usar estos modelos para comprender el impacto de los cambios ambientales y las actividades humanas a lo largo del tiempo, identificar píxeles en la nube y libres de nubes y realizar una segmentación semántica.
Definir un Nombre del trabajoelija un modelo para usar y haga clic en la parte inferior derecha próximo para pasar al segundo paso de configuración.
A continuación, puede definir un área de interés (AOI), el conjunto de datos de imágenes satelitales que desea utilizar y los filtros para su trabajo. La pantalla de la izquierda muestra la Area de interes mapa para visualizar para su Trabajo de observación de la Tierra selección, y la pantalla derecha contiene imágenes satelitales y opciones de filtro para su AOI.
Puede elegir la colección de imágenes satelitales, ya sean imágenes USGS LANDSAT o Sentinel-2, el intervalo de fechas para su trabajo de observación de la Tierra y filtros en las propiedades de sus imágenes en la sección de filtros.
Subí el formato GeoJSON para definir mi AOI como el Montaña Halla área en Isla Jeju, Corea del Sur. Selecciono todas las propiedades y opciones del trabajo y elijo Crear.
Una vez que el trabajo de Observación de la Tierra se haya creado correctamente, aparecerá una barra flash donde puedo ver los detalles de mi trabajo presionando el botón Vista trabajo detalles botón.
Una vez terminado el trabajo, puedo Visualice la salida del trabajo.
Esta imagen es una salida de trabajo en el proceso de renderizado para detectar el uso de la tierra a partir de imágenes satelitales de entrada. Puede ver imágenes de entrada, imágenes de salida o el AOI de las capas de datos en el panel izquierdo.
Muestra los resultados del mapeo automático de la cobertura del suelo para la gestión de los recursos naturales. Por ejemplo, el área amarilla es el mar, el verde es la nube, el naranja oscuro es el bosque y el naranja es la tierra.
También puede ejecutar el mismo trabajo con el cuaderno SageMaker usando la imagen geoespacial con SDK geoespaciales.
Desde el Expediente y Nuevoelegir Computadora portátil y seleccione el Imagen menú desplegable en el Configuración del entorno del cuaderno y elige Geoespacial 1.0. Deje que las otras configuraciones se establezcan en los valores predeterminados.
¡Veamos el código de muestra de Python! Primero, configure las bibliotecas geoespaciales de SageMaker.
import boto3
import botocore
import sagemaker
import sagemaker_geospatial_map
region = boto3.Session().region_name
session = botocore.session.get_session()
execution_role = sagemaker.get_execution_role()
sg_client= session.create_client(
service_name="sagemaker-geospatial",
region_name=region
)Inicie un trabajo de observación de la Tierra para identificar los tipos de cobertura terrestre en el área de la isla de Jeju.
# Perform land cover segmentation on images returned from the sentinel dataset.
eoj_input_config = {
"RasterDataCollectionQuery": {
"RasterDataCollectionArn": <ArnDataCollection,
"AreaOfInterest": {
"AreaOfInterestGeometry": {
"PolygonGeometry": {
"Coordinates": [
[[126.647226, 33.47014], [126.406116, 33.47014], [126.406116, 33.307529], [126.647226, 33.307529], [126.647226, 33.47014]]
]
}
}
},
"TimeRangeFilter": {
"StartTime": "2022-11-01T00:00:00Z",
"EndTime": "2022-11-22T23:59:59Z"
},
"PropertyFilters": {
"Properties": [
{
"Property": {
"EoCloudCover": {
"LowerBound": 0,
"UpperBound": 20
}
}
}
],
"LogicalOperator": "AND"
}
}
}
eoj_config = {"LandCoverSegmentationConfig": {}}
response = sg_client.start_earth_observation_job(
Name = "jeju-island-landcover",
InputConfig = eoj_input_config,
JobConfig = eoj_config,
ExecutionRoleArn = execution_role
)
# Monitor the EOJ status
sg_client.get_earth_observation_job(Arn = response['Arn'])Después de crear su EOJ, el Arn se te devuelve. El Arn se utiliza para identificar un trabajo y realizar más operaciones. Después de terminar el trabajo, visualice las entradas y salidas de Observación de la Tierra en la herramienta de visualización.
# Creates an instance of the map to add EOJ input/ouput layer
map = sagemaker_geospatial_map.create_map({
'is_raster': True
})
map.set_sagemaker_geospatial_client(sg_client)
# render the map
map.render()
# Visualize input, you can see EOJ is not be completed.
time_range_filter={
"start_date": "2022-11-01T00:00:00Z",
"end_date": "2022-11-22T23:59:59Z"
}
arn_to_visualize = response['Arn']
config = {
'label': 'Jeju island'
}
input_layer=map.visualize_eoj_input(Arn=arn_to_visualize, config=config , time_range_filter=time_range_filter)
# Visualize output, EOJ needs to be in completed status
time_range_filter={
"start_date": "2022-11-01T00:00:00Z",
"snd_date": "2022-11-22T23:59:59Z"
}
config = {
'preset': 'singleBand',
'band_name': 'mask'
}
output_layer = map.visualize_eoj_output(Arn=arn_to_visualize, config=config, time_range_filter=time_range_filter)También puede ejecutar el StartEarthObservationJob API mediante la interfaz de línea de comandos de AWS (AWS CLI).
Cuando crea un trabajo de observación de la Tierra en cuadernos, puede usar funcionalidades geoespaciales adicionales. Aquí hay una lista de algunas de las otras operaciones geoespaciales que son compatibles con Amazon SageMaker:
- Apilamiento de bandas – Combine múltiples propiedades espectrales para crear una sola imagen.
- Eliminación de la nube – Eliminar píxeles que contengan partes de una nube de las imágenes satelitales.
- geomosaico – Combina varias imágenes para una mayor fidelidad.
- remuestreo – Escalar imágenes a diferentes resoluciones.
- Estadísticas Temporales – Calcule estadísticas a través del tiempo para múltiples GeoTIFF en la misma área.
- Estadísticas Zonales – Calcular estadísticas sobre regiones definidas por el usuario.
Para obtener más información, consulte el SDK de cuadernos geoespaciales de Amazon SageMaker y las API de servicio de capacidades geoespaciales de Amazon SageMaker en la documentación de AWS y códigos de muestra geoespaciales en GitHub repositorio.
Realizar un trabajo de enriquecimiento de vectores y visualización de mapas
Un trabajo de enriquecimiento de vectores (VEJ) realiza operaciones en sus datos vectoriales, como la geocodificación inversa o la coincidencia de mapas.
- Geocodificación inversa – Convierta las coordenadas del mapa en direcciones legibles por humanos con la tecnología de Amazon Location Service.
- Coincidencia de mapas – Haga coincidir las coordenadas GPS con los segmentos de carretera.
Si bien necesita usar un cuaderno de Amazon SageMaker Studio para ejecutar un VEJ, puede ver todos los trabajos que crea.
Con el StartVectorEnrichmentJob API, puede crear un VEJ para los dos tipos de trabajo proporcionados.
{
"Name":"vej-reverse",
"InputConfig":{
"DocumentType":"csv", //
"DataSourceConfig":{
"S3Data":{
"S3Uri":"s3://channy-geospatial/sample/vej.csv",
}
}
},
"JobConfig": {
"MapMatchingConfig": {
"YAttributeName":"string", // Latitude
"XAttributeName":"string", // Longitude
"TimestampAttributeName":"string",
"IdAttributeName":"string"
}
},
"ExecutionRoleArn":"string"
}Puede visualizar la salida de VEJ en el cuaderno o usar el Visualización de mapas característica después de exportar la salida de trabajos VEJ a su depósito S3. Con la función de visualización de mapas, puede mostrar fácilmente sus datos geoespaciales en el mapa.
Esta visualización de muestra incluye Distritos del Ayuntamiento de Seattle y ubicaciones de escuelas públicas en formato GeoJSON. Seleccione Agregar datos para cargar archivos de datos o seleccione el depósito S3.
{
"type": "FeatureCollection",
"crs": { "type": "name", "properties": {
"name": "urn:ogc:def:crs:OGC:1.3:CRS84" } },
"features": [
{ "type": "Feature", "id": 1, "properties": { "PROPERTY_L": "Jane Addams", "Status": "MS" }, "geometry": { "type": "Point", "coordinates": [ -122.293009024934037, 47.709944862769468 ] } },
{ "type": "Feature", "id": 2, "properties": { "PROPERTY_L": "Rainier View", "Status": "ELEM" }, "geometry": { "type": "Point", "coordinates": [ -122.263172064204767, 47.498863322205558 ] } },
{ "type": "Feature", "id": 3, "properties": { "PROPERTY_L": "Emerson", "Status": "ELEM" }, "geometry": { "type": "Point", "coordinates": [ -122.258636146463658, 47.514820466363943 ] } }
]
}¡Eso es todo! Para obtener más información sobre cada componente, consulte la Guía para desarrolladores geoespaciales de Amazon SageMaker.
Únete a la vista previa
La versión preliminar de la capacidad geoespacial de Amazon SageMaker ya está disponible en la región EE.UU. Oeste (Oregón).
Queremos escuchar más comentarios durante la vista previa. Pruébelo y envíe sus comentarios a AWS re: publicación para Amazon SageMaker o a través de sus contactos habituales de soporte de AWS.
– channy
