Disponibilizar imagens HIPS e PTIFF localmente no LIneA

[gschwend]

Tasks

Preview Give feedback

1. verificar os ptiffs faltantes
2. mover para o diretório correto (ver doc curadoria)
3. avisar ao Glauber sobre a localização dos ptiffs movidos

[adrianopieres]

Não há ptiffs faltando.
No diretório /lustre/t1/cl/des/desar2.cosmology.illinois.edu/DESFiles/desarchive/OPS/multiepoch/Y6A1/ há 10096 imagens PTIFFs e no diretório /lustre/t1/cl/des/desar2.cosmology.illinois.edu/DESFiles/desarchive/OPS/multiepoch/Y6A2/ há as 73 PTIFFs que fecham as 10169 tiles, exatamente como descrito no documento https://docs.google.com/spreadsheets/d/1FqtFvBoazHUNxREaK_pbLyJi3Ooymtg5DJ14CCMrNlM/edit?usp=sharing .
Para refazer essas PTIFFs, os inputs são arquivos FITS. Os únicos arquivos das imagens do DES armazenados aqui são FITS.FZ, e devem ser descompactados para poder rodar o STIFF e criar as PTIFFs. Há um fator 7 na descompactação, então esses 1.7TB em imagens FITS.FZ deve gerar 12TB de imagens FITS. Acho que deve ser conversado com o pessoal de infra sobre isso anteriormente.

[gschwend]

Maravilha, @adrianopieres! Sendo assim, editei a task list para apenas mover os dados, ao invés de recriar e mover.

[adrianopieres]

Vamos confirmar com o Nicolaci para ver se a ideia não é rodar em um pequeno grupo de imagens para mais tarde poder executar nas imagens do LSST.

[gschwend]

Sim, o último item tá mantido, mas enquanto isso o @glaubervila já pode usar as imagens existentes. Só vamos garantir que elas estão armazenadas no lugar correto (conforme a definição na reunião de curadoria) antes de ele começar a usar, pra não ter que corrigir o path depois.

[gschwend]

@adrianopieres transformei o último item num issue a parte. Acho que podemos considerar esse como concluído depois que o Science Server for capaz de ler os ptiffs existentes no path definitivo.

[adrianopieres]

Tem o path definitivo das PTIFFs do DES pra me passar? Não consigo achar o doc com os paths... :(

[gschwend]

Lógica para montar o path:
/data/<cl/public>/<survey>/<release>/<primary/secondary>/<catalogs/image_products>/<product type, e.g.: object>/<nome do arquivo, e.g.: objectTable_tract_…….parq >

Ex para DES:

/data/public/des/dr2/primary/image_products/fits/…
/data/public/des/dr2/secondary/image_products/hips/…
/data/public/des/dr2/secondary/image_products/ptiffs/…
/data/public/des/dr2/secondary/image_products/maps/…

[adrianopieres]

Como estas imagens já vieram do DES, não seria 'primary' ao invés de 'secondary' @gschwend ?