0904

LOGS

• AWS Athena のキャッチアップ
  • What's AWS Athena ではないが，この記事も参考になる
  • クエリ（いわゆる SQL）で S3 に吐き出したログ等の検索ができるのすげぇ
    • まだ自分は環境整えてもらった中でクエリを実行しかしていないので，データ周りの連携や準備もやって理解を深めたい
  • Get started も試してみたい
    • 自分のプライベートの方の AWS アカウントでやってみるか
  • フルマネージド・サーバーレス なんてエンジニア大好きなワード２大巨頭じゃん
  • あんま良く分かっていないが，Redshift との違いは？
    • やっぱ誰かしら記事書いてるよね
    • https://www.cloudsolution.tokai-com.co.jp/white-paper/2025/0327-558.html#:~:text=Amazon%20Redshift%E3%81%A8%E3%81%AE%E9%81%95%E3%81%84,-Amazon%20Athena%E3%81%A8&text=%E4%B8%A1%E8%80%85%E3%81%AE%E7%95%B0%E3%81%AA%E3%82%8B%E7%82%B9%E3%81%AF,%E3%81%A7%E5%89%B2%E3%82%8A%E5%BD%93%E3%81%A6%E3%82%8B%E5%BF%85%E8%A6%81%E3%81%8C%E3%81%82%E3%82%8A%E3%81%BE%E3%81%99%E3%80%82

    • 両者の異なる点は、主にリソースの割り当て方と、処理を得意とするデータの種類です。 リソースについては、Amazon Athenaが自動で割り当てられることに対し、Amazon Redshiftは手動で割り当てる必要があります。

    • また、Amazon Athenaは構造化データ・非構造化データ問わず分析が行えるのに対し、Amazon Redshiftは大量の構造化データを高速処理することに特化しています。定期的に行うデータ分析であれば、大容量のデータが対象となることから、Amazon Redshiftが適しているでしょう。一方、直近の売り上げの変化など、リアルタイムで分析を行う「アドホック分析」においては、Amazon Athenaが適しているといえます。

  • あぁ．構造化しているデータの高速処理をしたいのが Redshift か．ゲーム都下のログデータはそうかも
  • 自分たちの場合は Athena の方が使い勝手良いかな．そもそも非構造化データ扱うことも多いだろうし
  • あとは，アドホックに今のタイミングでデータほしいとかの要望もあるだろうな
  • S3 は偉大だ

• ETL とは

  • Extract: 抽出
  • Transform: 変換
  • Load: 書き出し
  • の頭文字を取ったもの
  • 複数のデータソースからデータを収集・加工して，別のシステムやデータウェアハウス（DWH）に統合する一連の処理プロセスを指す
  • Zero-ETL

• Nx の攻撃から学べること #s1ngularity を読む

  • 途中で時間切れなので明日続き