refirio.org

Memo

■ビッグデータ
■事例

ビッグデータ活用における AWS 国内導入事例 Powered by AWS クラウド | AWS
https://aws.amazon.com/jp/solutions/case-studies/big-data/

AWS 導入事例：株式会社大創産業 | AWS
https://aws.amazon.com/jp/solutions/case-studies/daiso/■Amazon Redshift

※未検証

データを蓄積して分析できる
MySQLで処理しきれないような規模にも対応できる

Amazon Redshiftって何ができるの？AWSのデータウェアハウスサービスを解説 | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
https://techblog.nhn-techorus.com/archives/8232

Redshiftの利用事例が紹介されている

ダイソーが6年でIT内製化、マイクロサービス化、サーバレスに成功した理由 (1/2)：105億レコードの処理が課題 - ＠IT
https://www.atmarkit.co.jp/ait/articles/1911/21/news010.html

以下引用
既存のRDBMSでは数万〜数百万件ほどのデータであれば高い性能を示すが、100億を超えるようなデータだと性能が劣化してしまう。
そこで列指向の「Amazon Redshift」をテストすると、1億を超える辺りからRDBMSの速度を超え、ダイソーの持つ105億レコードの処理において、はるかに高い性能を示したという。
PoCのときは既存のRDBMSだったため、パフォーマンスが追い付かなかった。
しかし、Redshiftであれば全店舗のデータ処理もまかなえる。自動発注システムで十分に処理できることが分かったことは大きな前進だった。
■Amazon Athena

※未検証

S3に保存・蓄積したログに対してSQLクエリを投げて分析を行える
MySQLで処理しきれないような規模にも対応できる

Amazon Athena（SQL を使用した S3 でのデータクエリ）| AWS
https://aws.amazon.com/jp/athena/

重たい集計バッチをAthenaを利用して高速化した話 - Tech Do | メディアドゥの技術ブログ
https://techdo.mediado.jp/entry/2020/04/23/090000

Amazon Athenaではじめるログ分析入門 - Qiita
https://qiita.com/miyasakura_/items/174dc73f706e8951dbdd
Memo

Advertisement
