SQL Server 2019 - Lista de novedades y nuevos recursos

El creciente volumen de datos crea vastos mares de oportunidades para quienes pueden navegar por ellos. SQL Server 2019 lo ayuda a anticiparse a los tiempos cambiantes al hacer que la integración, la administración y la inteligencia de datos sean más fáciles e intuitivas que nunca.

Con SQL Server 2019, puede crear una única capa de datos virtuales a la que puede acceder casi cualquier aplicación. La virtualización de datos de Polybase maneja la complejidad de integrar todas sus fuentes y formatos de datos sin necesidad de replicarlos o moverlos. Puede simplificar la administración de datos utilizando SQL Server 2019 Big Data Clusters implementado en Kubernetes. Cada nodo de un Big Data Cluster incluye el motor relacional de SQL Server, almacenamiento HDFS y Spark, que le permite almacenar y administrar sus datos utilizando las herramientas que elija.

SQL Server 2019 facilita la creación de aplicaciones inteligentes con big data. Ahora puede ejecutar trabajos de Spark para analizar datos estructurados y no estructurados, entrenar modelos con datos desde cualquier lugar con SQL Server Machine Learning Services o Spark ML y consultar datos desde cualquier lugar mediante una rica experiencia de cuaderno integrada en Azure Data Studio. El flujo de datos no se está desacelerando, pero no tiene por qué hundir su negocio. Navega con SQL Server 2019 y acorta la distancia entre los datos y la acción.

SQL Server continúa adoptando el código abierto, desde el soporte de SQL Server 2017 para Linux y contenedores hasta SQL Server 2019, que ahora incluye Spark y HDFS para proporcionar una plataforma de datos unificada. Con SQL Server 2019, todos los componentes necesarios para realizar análisis de sus datos están integrados en un clúster administrado, que es fácil de implementar y escala según sus necesidades comerciales. HDFS, Spark, Knox, Ranger y Livy vienen incluidos con SQL Server y se implementan rápida y fácilmente como contenedores de Linux en Kubernetes. SQL Server simplifica la gestión de todos sus datos corporativos eliminando las barreras que existen actualmente entre los datos estructurados y no estructurados.

Vea cómo podemos facilitar la eliminación de las barreras para obtener información sobre todos sus datos al proporcionar una vista de sus datos en toda la organización:

• Simplifique el análisis de big data para los usuarios de SQL Server. SQL Server 2019 facilita la gestión de entornos de big data. Viene con todo lo que necesita para crear un lago de datos, incluidos HDFS y Spark con tecnología de Microsoft y herramientas de análisis, todo profundamente integrado con SQL Server y totalmente respaldado por Microsoft. Ahora, puede ejecutar aplicaciones, análisis e inteligencia artificial en datos estructurados y no estructurados, utilizando consultas T-SQL familiares, o las personas familiarizadas con Spark pueden usar Python, R, Scala o Java para ejecutar tareas de Spark para la preparación o análisis de datos. el mismo cluster integrado.
• Ofrezca a los desarrolladores, analistas de datos e ingenieros de datos una fuente única para todos sus datos (estructurados y no estructurados) utilizando sus herramientas favoritas. Con SQL Server 2019, los científicos de datos pueden analizar fácilmente datos en SQL Server y HDFS a través de trabajos de Spark. Los analistas pueden realizar análisis avanzados de big data utilizando los servicios de aprendizaje automático de SQL Server: entrenar grandes conjuntos de datos en Hadoop y ponerlos en funcionamiento en SQL Server. Los científicos de datos pueden utilizar una nueva experiencia de notebook que se ejecuta en el motor de notebook Jupyter en una nueva extensión de Azure Data Studio para realizar de forma interactiva análisis de datos avanzados y compartir fácilmente el análisis con sus colegas.
• Rompe los silos de datos y proporciona una vista de todos tus datos mediante la virtualización de datos. A partir de SQL Server 2016, PolyBase le permitió ejecutar una consulta T-SQL dentro de SQL Server para extraer datos de su lago de datos y devolverlos en un formato estructurado, todo sin mover ni copiar los datos. Ahora, en SQL Server 2019, estamos ampliando este concepto de virtualización de datos a fuentes de datos adicionales, incluidas Oracle, Teradata, MongoDB, PostgreSQL y otras. Con el nuevo PolyBase, puede romper los silos de datos y combinar fácilmente datos de múltiples fuentes mediante la virtualización para evitar el tiempo, el esfuerzo, los riesgos de seguridad y los datos duplicados creados por el movimiento y la replicación de datos. Los nuevos “grupos de datos” y “grupos de datos” elásticamente escalables agilizan las consultas de datos virtualizados al almacenar en caché los datos y distribuir la ejecución de consultas entre muchas instancias de SQL Server.

Rendimiento líder en la industria: la base de datos inteligente

• La familia de recursos Procesamiento inteligente de consultas se basa en las funciones de ajuste del rendimiento del procesamiento adaptable de consultas de SQL Server 2017, incluida la retroalimentación de concesión de memoria en el modo Fila, COUNT DISTINCT aproximado y el modo por lotes en el almacén de filas.
• EL soporte de memoria persistente se ha mejorado en esta versión con una nueva ruta de E/S optimizada disponible para interactuar con el almacén de memoria persistente.
• La infraestructura ligera de creación de perfiles de consultas ahora está habilitado de forma predeterminada para proporcionar estadísticas de operador por consulta en cualquier momento y lugar donde las necesite.
• Cambios en la estimación de filas al usar tablas de variables (compilación de variables de tabla diferida). Hasta SQL Server 2019, el optimizador de consultas SIEMPRE estimaba 1 fila devuelta cuando se usaban variables tipo tabla, generando muchas veces operadores incorrectos cuando se usaban grandes masas de datos en este tipo de objetos y teniendo un rendimiento muy pobre. Esto provocó que muchas personas usaran tablas temporales o la sugerencia OPCIÓN (RECOMPILAR) para evitar este tipo de comportamiento. En la versión 2019, el optimizador de consultas intentará estimar un número más cercano al real, lo que significa que los resultados que utilizan variables de tipo tabla son generalmente mejores que los resultados de versiones anteriores. Para obtener más información sobre esta nueva característica, consulte esta publicación de Brent Ozar
• Comentarios de concesión de memoria en modo de fila. SQL Server 2017 introdujo la retroalimentación de concesión de memoria en modo Fila, que es descrito en detalle aquí. Básicamente, para cualquier concesión de memoria relacionada con un plan que involucre operadores en modo por lotes, SQL Server evaluará la memoria utilizada por la consulta y la comparará con la memoria solicitada. Si la memoria solicitada es demasiado baja o demasiado alta, lo que provoca derrames o desperdicio de memoria, ajustará la concesión de memoria asociada con el plan de ejecución la próxima vez que se ejecute. Esto reducirá la subvención para permitir una mayor competencia o la aumentará para mejorar el rendimiento.

  Ahora también obtenemos este comportamiento para consultas en modo fila, bajo el nivel de compatibilidad 150. Si se encuentra una consulta en un disco, la concesión de memoria aumenta para ejecuciones posteriores. Si la memoria real utilizada por la consulta es inferior a la mitad de la memoria concedida, las solicitudes de concesión posteriores serán menores. Brent Ozar entra en más detalles en su publicación sobre Concesiones de memoria adaptativa.

• Modo por lotes sobre almacén de filas – Desde SQL Server 2012, las consultas en tablas con índices de almacén de columnas se han beneficiado de mejoras de rendimiento en modo por lotes. Las mejoras se deben a que el procesador de consultas realiza un procesamiento por lotes en lugar de fila por fila. También surgen filas debido al mecanismo de dosificación y se pueden evitar los operadores de interruptores de paralelismo.

  En el nivel de compatibilidad 150, SQL Server 2019 elegirá automáticamente el modo por lotes en ciertos casos, incluso cuando no haya un índice de almacén de columnas, que a menudo no se puede crear debido a diversas limitaciones técnicas y/o conceptuales, como la falta de compatibilidad con activadores.

• Nueva función de agregación APPROX_COUNT_DISTINCT – Esta nueva función de agregación está diseñada para escenarios de almacenamiento de datos y es equivalente a COUNT(DISTINCT()). En lugar de ejecutar costosas operaciones de clasificación discretas para determinar los recuentos reales, se basa en estadísticas para obtener algo relativamente preciso. Debería encontrar que el margen de error está dentro del 2 % del recuento exacto el 97 % de las veces, lo que generalmente es suficiente para análisis de alto nivel y los ahorros en el uso de memoria son bastante considerables.

  Resultados de la prueba:
  

  

  

  

• Sugerencias de nivel de compatibilidad con ámbito de consulta – ¿Tiene una consulta específica que funcione mejor en un determinado nivel de compatibilidad que no sea el mismo que el de la base de datos actual? Ahora puede hacer esto con nuevas sugerencias de consulta, que admiten seis niveles de compatibilidad diferentes y cinco modelos de estimación de cardinalidad diferentes. A continuación se detallan los niveles de compatibilidad disponibles, la sintaxis de ejemplo y el modelo CE utilizado en cada caso. Puede ver cómo esto puede afectar las estimaciones, incluso para las vistas del catálogo del sistema:

  

  Para ver todas las sugerencias disponibles, puede consultar el DMV sys.dm_exec_valid_use_hints.

• Estimaciones de compresión del índice del almacén de columnas – En las versiones actuales, el procedimiento sys.sp_estimate_data_compression_ Savings tiene una verificación del tipo de compresión (NINGUNO, FILA y PÁGINA). En SQL Server 2019, esta verificación se cambió para permitir la estimación de los índices del almacén de columnas.

  Esta es una gran noticia, ya que le permite predecir el impacto de agregar un índice de almacén de columnas a una tabla que no lo tiene, o convertir una tabla o partición al formato de almacén de columnas más agresivo, sin tener que restaurar la tabla a otro sistema y aplicarla en la práctica para realizar este análisis.

• Nueva función para recuperar información de la página. – DBCC PAGE y DBCC IND se utilizan desde hace mucho tiempo para recopilar información sobre las páginas que componen una partición, índice o tabla. Pero son comandos no documentados ni compatibles y pueden resultar muy tediosos para automatizar soluciones a problemas que involucran más de un índice o página.

  Llegó sys.dm_db_database_page_allocations, una función de administración dinámica que devuelve un conjunto que representa todas las páginas del objeto especificado. Aún no documentada, esta función presenta un problema de inserción de predicados que puede ser un problema real en tablas más grandes: incluso para obtener información sobre una sola página, necesita leer toda la estructura, lo que puede ser bastante prohibitivo.

  SQL Server 2019 presenta otro DMF, sys.dm_db_page_info. Esto devuelve básicamente toda la información en una página, sin la sobrecarga de las asignaciones de DMF. Sin embargo, en las versiones actuales, ya debe conocer el número de página que está buscando para utilizar la función. Esto puede ser intencionado, ya que puede ser la única forma de garantizar el rendimiento. Por lo tanto, si intenta determinar todas las páginas en un índice o tabla, aún necesitará utilizar asignaciones DMF.

Siempre cifrado con enclaves seguros amplía la tecnología de cifrado del lado del cliente introducida en SQL Server 2016. Los enclaves seguros protegen los datos confidenciales en un enclave creado por hardware o software dentro de la base de datos, protegiéndolos del malware y de usuarios privilegiados, lo que permite operaciones avanzadas con datos cifrados. Hoy en día, Always Encrypted protege los datos confidenciales cifrándolos y descifrándolos en cada extremo del proceso. Desafortunadamente, esto introduce restricciones de procesamiento a menudo críticas, como no poder realizar cálculos y filtrado, lo que significa que se debe enviar todo el conjunto de datos para realizar, por ejemplo, una búsqueda de rango.

Un enclave es un área protegida de la memoria a la que se pueden delegar estos cálculos y filtrado (en Windows, esto utiliza seguridad basada en virtualización): los datos permanecen cifrados en el motor, pero se pueden cifrar o descifrar de forma segura dentro del enclave. Simplemente agregue la opción ENCLAVE_COMPUTATION a la clave maestra, lo que puede hacer en SSMS marcando la casilla de verificación "Permitir cálculos de enclave" al crear la clave maestra para una columna.

el recurso Descubrimiento y clasificación de datos SQL ahora está integrado en el motor SQL Server con nuevos metadatos y soporte de auditoría para ayudar con GDPR y otras necesidades de cumplimiento. En SSMS 17.5, el equipo de SQL Server agregó la capacidad de ordenar datos en SSMS, para que pueda identificar columnas que podrían contener información confidencial o interferir con el cumplimiento de varios estándares (HIPAA, SOX, PCI y, por supuesto, GDPR). El asistente utiliza un algoritmo para sugerir columnas que probablemente causen problemas de cumplimiento, pero usted puede agregar las suyas propias, ajustar sus sugerencias y eliminar cualquier columna de la lista. Almacena estas clasicaciones utilizando propiedades extendidas; un informe basado en SSMS utiliza esta misma información para mostrar las columnas que se han identificado. Fuera del informe, estas propiedades no son muy visibles.

En SQL Server 2019, hay un nuevo comando para estos metadatos, ahora disponible en Azure SQL Database, llamado AGREGAR CLASIFICACIÓN DE SENSIBILIDAD. Esto le permite realizar el mismo tipo de asistente que SSMS, pero la información ya no se almacena como una propiedad extendida y cualquier acceso a estos datos se muestra automáticamente en las auditorías en una nueva columna XML llamada data_sensitivity_information. Contiene todo tipo de información a la que se accedió durante el evento auditado.

Ahora, el gestión de certificados Ahora es más fácil usar el Administrador de configuración de SQL Server. La gestión de certificados SSL y TLS siempre ha sido laboriosa y muchas personas tienen que realizar mucho trabajo tedioso y secuencias de comandos internas para implementar y mantener certificados en toda la empresa. Con SQL Server 2019, las actualizaciones de SQL Server Configuration Manager lo ayudarán a ver y validar rápidamente certificados para cualquier instancia, encontrar certificados que están a punto de caducar y sincronizar implementaciones de certificados en todas las réplicas de un grupo de disponibilidad (principal) o en todos los nodos de una instancia de clúster de conmutación por error (nodo activo).

Grupos siempre disponibles Se han mejorado para incluir la redirección automática de conexiones al primario según la intención de lectura/escritura. Esta característica le permite configurar redireccionamientos sin un oyente, por lo que puede cambiar una conexión a la principal incluso si se nombra explícitamente una secundaria en la cadena de conexión. Puede utilizar esta característica cuando la tecnología de agrupación en clústeres no admite un escucha, cuando utiliza AG no agrupados o cuando tiene un esquema de redireccionamiento complejo en un escenario de múltiples subredes. Esto evitará que una conexión, por ejemplo, intente escribir operaciones en una réplica de solo lectura (y falle).

Configuraciones de alta disponibilidad para SQL Server ejecutándose en contenedores se puede habilitar con grupos de disponibilidad Always On usando Kubernetes.

Índices en línea reanudables fueron mejorados en SQL Server 2019 y ahora se pueden usar para crear el índice (que se creará ONLINE y RESUMABLE) y también en índices del tipo COLUMNSTORE. Además, la configuración del ámbito de la base de datos se puede cambiar para que los índices se creen de esta manera de forma predeterminada.

Ejemplo de uso:

CREATE INDEX Idx01 ON dbo.Teste(Nome)
WITH (ONLINE = ON, RESUMABLE = ON, MAX_DURATION = 10 MINUTES);

Tú Mejoras en gráficos SQL Incluye compatibilidad con coincidencias con T-SQL MERGE y restricciones de borde.

EL nuevo soporte UTF-8 ofrece a los clientes la capacidad de reducir el espacio de almacenamiento de datos de SQL Server utilizando UTF-8. SQL Server 2012 agregó compatibilidad con UTF-16 y caracteres complementarios a través de un conjunto de intercalaciones con un sufijo _SC, como Latin1_General_100_CI_AI_SC, para usar con columnas Unicode (nchar/nvarchar). En SQL Server 2017, puede importar y exportar datos en formato UTF-8 hacia y desde estas columnas, a través de funciones como BCP y BULK INSERT.

En SQL Server 2019, hay nuevas intercalaciones para admitir de forma nativa el almacenamiento de datos UTF-8 en SQL Server. Por lo tanto, puede crear una columna char o varchar para almacenar correctamente datos UTF-8 utilizando nuevas intercalaciones con un sufijo _SC_UTF8, como Latin1_General_100_CI_AI_SC_UTF8. Esto puede ayudar a mejorar la compatibilidad con aplicaciones externas y otras plataformas y sistemas de bases de datos, sin pagar las penalizaciones de rendimiento y almacenamiento de nvarchar.

el nuevo Extensión del lenguaje Java le permitirá invocar un programa Java precompilado y ejecutar de forma segura código Java en el mismo servidor que SQL Server. Esto reduce la necesidad de mover datos y mejora el rendimiento de las aplicaciones al acercar sus cargas de trabajo a sus datos.

EL Servicios de aprendizaje automático tiene varias mejoras, incluida la compatibilidad con clústeres de conmutación por error de Windows, modelos particionados y compatibilidad con SQL Server en Linux.

Recursos adicionales para SQL Server en Linux incluyen transacciones distribuidas, replicación, Polybase, servicios de aprendizaje automático, notificaciones de memoria y compatibilidad con OpenLDAP.

Los contenedores tienen nuevas mejoras., incluido el uso del nuevo Microsoft Container Registry, con soporte para imágenes de RedHat Enterprise Linux y grupos de disponibilidad Always On para Kubernetes.

La compatibilidad ampliada con más cargas de trabajo de datos en SQL Server requiere herramientas ampliadas. Mientras Microsoft trabajaba con los usuarios de su plataforma de datos, vimos la unión de personas que antes eran dispares: administradores de bases de datos, científicos de datos, desarrolladores de datos, analistas de datos y nuevos roles que aún se están definiendo.

Cada vez más, estos usuarios desean utilizar las mismas herramientas para trabajar juntos sin problemas en las instalaciones y en la nube, utilizando datos relacionales y no estructurados, trabajando en cargas de trabajo OLTP, ETL, análisis y transmisión.

Azure Data Studio (anteriormente Estudio de operaciones SQL) ofrece una experiencia de edición moderna con IntelliSense ultrarrápido, fragmentos de código, integración de código fuente y una terminal integrada. Está diseñado pensando en el usuario de una plataforma de datos, lo que le permite generar gráficos e información a partir de consultas, un cuaderno integrado y paneles personalizables. Por lo tanto, Microsoft se ha estado enfocando en este perfil en Azure Data Studio, y manteniendo SQL Server Management Studio enfocado en el perfil de Administradores de Bases de Datos (DBA).

Actualmente, Azure Data Studio ofrece soporte integrado para SQL Server local y en la nube (Azure SQL Database), además de soporte (aún beta) para Instancia administrada de Azure y almacén de datos Azure SQL.

Azure Data Studio presenta hoy una nueva extensión de vista previa para agregar compatibilidad con algunas características de SQL Server 2019. La extensión proporciona conectividad y herramientas para clústeres de big data de SQL Server, incluida una vista previa de la función de anotaciones en el conjunto de herramientas de SQL Server y el nuevo asistente "PolyBase Create External Table", que facilita el acceso a datos desde instancias remotas de SQL Server y Oracle.

Para descargar Azure Data Studio, haga clic en este enlace aquí.

Como señaló Brent Ozar en esta publicación aquí, SQL Server 2019 nos trae una serie de cambios a los mensajes de error y alertas tradicionales (además de nuevos mensajes de error para nuevas funciones).

Entre la extensa lista de cambios y novedades en los mensajes, destaco algunos de ellos:

• 3911: el almacén de versiones persistentes está lleno. No se pudieron agregar nuevas versiones. Es posible que se revierta una transacción que necesite acceder al almacén de versiones. Consulte BOL sobre cómo aumentar el tamaño máximo de la base de datos.
• 10661: la operación de actualización para todas las vistas de instantáneas falló porque había otra operación de actualización (ya sea para todas o para una sola vista de instantáneas) en progreso.
• 9113 – Advertencia: la creación y actualización de estadísticas forzará un ESCANEO COMPLETO en esta versión de SQL Server. Si el porcentaje de muestra persiste, persisted_sample_percent será 100.
• 12112 – Advertencia: La instrucción %ls se está forzando a ejecutarse CON (%S_MSG = ON) porque la configuración del alcance de la base de datos ELEVATE_%S_MSG está establecida en FAIL_UNSUPPORTED. La declaración puede fallar. Consulte el registro de errores de SQL Server para obtener más información.
• 5871: no se puede configurar el tipo de enclave de cifrado de columna en Modo seguro virtual (VSM): el sistema operativo no es compatible con VSM.
• 2628: los datos de cadena o binarios se truncarían en la tabla '%.*ls', columna '%.*ls'. Valor truncado: '%.*ls'.

¡Sí, lo viste bien! ¿Quién nunca ha perdido valiosos minutos intentando identificar qué columna y qué valor excedieron el límite de un campo varchar? En SQL Server 2019 esto ya no debería suceder (Nota: hice una prueba y todavía sucede... esperemos la versión final).

Como era de esperar, con nuevas funciones y mejoras, se crean/cambian nuevos objetos del sistema, como procedimientos almacenados y DMV, para admitir estos cambios en el producto. Con eso, Brent Ozar escribió este artículo aquí con un resumen de estos cambios realizados en los objetos del sistema, donde destaco los nuevos objetos creados:

Nuevos procedimientos almacenados

• sys.sp_add_feature_restricción
• sys.sp_autoindex_cancel_dta
• sys.sp_autoindex_invoke_dta
• sys.sp_cloud_update_blob_tier
• sys.sp_configure_automatic_tuning
• sys.sp_diagnostic_showplan_log_dbid
• sys.sp_drop_feature_restricción
• sys.sp_execute_remote
• sys.sp_force_slog_truncación
• sys.sp_internal_alter_nt_job_limits
• sys.sp_rbpex_exec_cmd
• sys.sp_set_distributed_query_context
• sys.sp_set_session_resource_group
• sys.sp_showinitialmemo_xml
• sys.sp_xa_commit
• sys.sp_xa_end
• sys.sp_xa_forget
• sys.sp_xa_forget_ex
• sys.sp_xa_init
• sys.sp_xa_init_ex
• sys.sp_xa_prepare
• sys.sp_xa_prepare_ex
• sys.sp_xa_recover
• sys.sp_xa_rollback
• sys.sp_xa_rollback_ex
• sys.sp_xa_start
• sys.xp_copy_file
• sys.xp_copy_files
• sys.xp_delete_files
• sys.sp_change_repl_serverport
• sys.sp_getdistributorplatform
• sys.sp_MSget_server_portinfo
• sys.sp_MSset_repl_serveroptions
• sys.sp_persistent_version_cleanup
• sys.sp_persistent_version_store
• sys.sp_sqljdbc_xa_install
• sys.sp_sqljdbc_xa_uninstall

Nuevas tablas/vistas

• sys.dm_column_encryption_enclave
• sys.dm_column_encryption_enclave_operación_stats
• sys.dm_db_missing_index_group_stats_query
• sys.dm_distributed_exchange_stats
• sys.dm_hadr_ag_threads
• sys.dm_hadr_db_threads
• sys.dm_os_job_object
• sys.dm_tran_aborted_transactions
• sys.edge_constraint_clauses
• sys.edge_constraints
• sys.external_libraries_installed
• sys.sensitivity_classifications
• sys._trusted_assemblies
• sys.persistent_version_store
• sys.persistent_version_store_long_term
• sys.tbl_server_resource_stats

Nuevas funciones

• sys.dm_db_page_info
• sys.fn_dbslog
• sys.fn_getproviderstring