El progreso exponencial del campo de la astronomía va unido a un progreso exponencial de su tecnología. El aumento de los telescopios terrestres, de las misiones espaciales y de la calidad y tamaño de sus ópticas y detectores está generando y generará datos a un ritmo igualmente exponencial. Desgraciadamente, el aumento del volumen de datos no se corresponde con los avances en la capacidad de almacenamiento y transmisión. El volumen astronómico de datos pronostica sobrecostes computacionales. Afortunadamente, existe una forma plausible de gestionar todo el ingreso de datos sin gastar recursos económicos y materiales en hardware. Los datos pueden ser codificados, reduciendo el número de símbolos necesarios para expresar un mensaje y, por tanto, comprimiendo su volumen.
El objetivo de esta investigación es proporcionar técnicas alternativas de compresión con y sin pérdidas, que superen a fpack (el compresor por defecto en los observatorios más importantes), para ayudar a la comunidad astronómica a afrontar el futuro reto de la avalancha de datos. Para lograr el objetivo, se ha llevado a cabo una investigación exhaustiva del estado del arte de las técnicas de compresión con y sin pérdidas. Las estrategias de compresión se han probado en un conjunto de datos representativo y con un tamaño sin precedentes.
Se ha comprobado que los métodos de compresión sin pérdidas superan tanto el rendimiento de la compresión fpack como los tiempos de compresión y descompresión. Se ha comprobado que JPEG 2000 o LPAQ9M tienen un mayor Ratio de Compresión (RC) y, en el caso del primero, incluso menores tiempos de compresión. Las técnicas propuestas podrían implementarse en la librería CFITSIO para ser soportadas por fpack y trabajar directamente con datos FITS. Estas técnicas podrían ser las técnicas de compresión sin pérdidas por defecto para reducir de forma más eficiente los archivos de los observatorios.
La investigación sobre la compresión con pérdidas combinan no sólo los resultados de la compresión, sino un análisis adicional sobre los efectos de la pérdida de información en el análisis científico. Los resultados revelaron que el mejor compresor sin pérdidas encontrado, LPAQ9M, combinado con un proceso previo de cuantización en dos regiones, para introducir pérdidas y mejorar la eficiencia de compresión de LPAQ9M, supera a fpack. La nueva técnica de compresión con pérdidas presentada mantiene una mayor fidelidad con el análisis fotométrico astronómico al tiempo que iguala o incluso supera los resultados de RC de fpack . Igualmente, el método con pérdidas propuesto también podría implementarse en CFITSIO para ser soportado por fpack, como alternativa de compresión con pérdidas en caso de que los requisitos de compresión sean más restrictivos. Como sugieren los resultados, la pérdida de información aún puede garantizar la fidelidad fotométrica para la mayoría de los análisis científicos.
El uso de estas nuevas técnicas propuestas permite a la comunidad científica reducir los costes de almacenamiento y transmisión de datos.
Traducción realizada con la versión gratuita del traductor DeepL.com
Astronomical Data Compression
Maireles Gonzalez, O. (Autor/a). 20 feb 2025
Tesis doctoral