基于Spark分布式框架的海量星表數(shù)據(jù)時序重構(gòu)方法研究
天文學進展
頁數(shù): 16 2024-03-15
摘要: 時序重構(gòu)是時域天文學中的一個重要數(shù)據(jù)處理步驟,也是擬合光變曲線、開展時域分析研究的基礎(chǔ)。Hadoop、Spark這類MapReduce分布式模型在執(zhí)行過程中分布式集群節(jié)點間的任務(wù)比較獨立,需要跨節(jié)點的數(shù)據(jù)傳輸量較少。提出了非阻塞異步執(zhí)行流程,每個分布式進程完全針對獨立天區(qū)的數(shù)據(jù)進行連續(xù)處理,而分塊邊緣的新增天體導致的其他節(jié)點的新增證認任務(wù)延時批量追加,并且會根據(jù)各進程間的進度不... (共16頁)