【読書】SoftwareDesignのログ分析読んだメモ

• ステートログ
  • １日１回ログイン時などにDBの状態をそのままログに残す
• データレイク
  • 今は未加工のデータをS3などにためておいて、ETLして使うのが主流
• Parquet形式
  • 列指向のデータ形式（csvなどから変換もできそう）
• Presto
  • Facebookが開発した分散処理基盤Athenaにも使われているのでクエリ高速化などで知識が必要
• AWS Glue
  • ETLに使う
• デッドレターキュー
  • Lambdaでのログ加工に失敗したときの再試行用にSQSをデッドレターキューに指定できそう