1. 程式人生 > >AWS 匯入事例:株式會社 日本経済新聞社におけるビッグデータ活用事例

AWS 匯入事例:株式會社 日本経済新聞社におけるビッグデータ活用事例

Atlas では取得したアクセスログのデータを 以下のように処理しています。

1. データコレクションエンドポイントがデータを Amazon SQS に記録

2. データ拡張を擔うワーカーが Amazon SQS からデータを取り出し、Amazon DynamoDB で管理されるセッションデータや屬性、記事に紐付くメタデータを個々のレコードに付與した上で Amazon Kinesis に記録

3. AWS Lambda で稼働する Kinesis Consumer が、Amazon Kinesis からレコードを取り出し、Elasticsearch とインメモリーデータベースにそれぞれレコードを書き込む

4. Amazon Redshift へは、AWS Elastic Beanstalk 上で稼働する Kinesis Consumerが、ロード用データを Amazon S3 に格納し、バッチ処理で Amazon Redshift にロードする

5. データの利用者は、Amazon EC2 または AWS Elastic Beanstalk 上で稼働するBusiness Intelligence ツールや、データサイエンス用ツールを通じてデータを分析

他にも、AWS Snowball を利用することで、データセンターの通訊帯域を圧迫せず迅速にオンプレミスのデータをクラウドへ移行をしたり、モニタリングに Amazon CloudWatch も活用しています。

Atlas では Amazon SQS や Amazon Kinesis を使うことで、トラフィック変化が予測しにくいニュース記事のアクセス負荷の変動を上手く吸収し、秒間數千〜數萬規模のリクエストにも問題なく処理できます。現在はクリックストリームデータは平均 200 ミリ秒で Amazon Kinesis に到著しており、フロントエンドからデータが送信されアナリストの分析クエリーにヒットするまではおよそ 1 秒程度です。限りなくリアルタイムに近いデータ処理が可能となっており、レスポンスの良さはリアルタイムリコメンド機能への貢獻も期待されています。「Amazon SQS のような高い信頼性のあるメッセージングの仕組みがあったからこそ Atlas の処理速度は達成できました。また、效能や信頼性の部分は AWS が擔保してくれるため、監視やメンテナンスに過剰なリソースを割くことなく安心して運用できています。」と、構築、運用をサポートしている新日鉄住金ソリューションズ株式會社 ソリューション企畫・コンサルティングセンターの磯部 俊行 氏は言います。

また、こうした AWS のマネージドサービスを活用することで、開発期間の短縮だけでなくコスト面でも効果が出ています。「AWS のマネージドサービスを活用することで、開発期間の短縮だけでなく、コストも従來の 5 分の 1 になっています。一方で扱えるデータ量は 10 から 20 倍に増え、ROI の改善効果は 50 倍以上です。その上で以前より可用性も向上しています。」(佐野氏)

相關推薦

AWS 匯入事例株式會社 日本新聞社におけるビッグデータ事例

Atlas では取得したアクセスログのデータを 以下のように処理しています。 1. データコレクションエンドポイントがデータを Amazon SQS に記録 2. データ拡張を擔うワーカーが Amazon SQS から

AWS 匯入事例株式會社 日本新聞社

日経電子版のサービスを始めた當初は、オンプレミス環境で運用されていましたが、モバイル版の開発を始めた 2013 年頃から、一部でクラウドの利用も開始されました。「インフラとフロントエンドのシステムをスケールアウトで簡単に拡張でき、そのための運用管理の手間がかからないクラウドには、當時か

AWS 匯入事例日本空輸株式會社

データの戦略的な活用には柔軟性と拡張性を備えたデータ分析基盤が必須と考えた ANA は、DWH のクラウド移行を決斷します。複數のサービスを検討した中からマネージド型 DWH の Amazon Redshift と、Amazon EC2、Amazon S3、Amazon Aur

AWS 匯入事例西日本鉄道株式會社株式會社からくりもの

株式會社からくりものの代表取締役 岡本 豊 氏も、2010 年に長野から福岡へ移り住んで以來、バスナビを日々利用する 1 ユーザーでした。とはいえ、スマートフォンで閲覧する際にも PC 用サイトにアクセスしなければないなど、當時のバスナビは使い勝手があまり良くなく、岡本氏はこれがスマー

AWS 匯入事例アットホーム株式會社

アットホームは、Oracle のオンプレミス環境で運用していた不動産情報の畫像配信システムの更新時期に合わせて、新たなシステムの構築を検討。そこで課題となったのが、畫像を蓄積するストレージ容量の確保と、不動産情報を管理するデータベースの可用性、拡張性の確保でした。それまではシス

AWS 匯入事例株式會社QTnet

「未來を拓く新たな“光”を九州から」をビジョンに、暮らしとビジネスに“感動品質”を提供する QTnet。家庭向け光インターネット接続サービスの『BBIQ』、モバイル サービスの『QT モバイル』、法人向けの『QT PRO』などさまざまな通訊サービスを提供しています。IoT や人工

AWS 匯入事例株式會社大和総研ビジネス・イノベーション

株式會社大和総研ビジネス・イノベーションは、金融や通訊、流通などの一般事業會社のほか、官公庁や地方公共団體など幅広い分野のお客様に、高品質で信頼性の高い情報システムサービスを提供しています。大和総研で培ってきたリサーチ、コンサルティングをはじめとするシンクタンク機能、ならびに情報

AWS 匯入事例株式會社イープラス

これらの要件に対応するソリューションを模索していたイープラスは、2017 年に AWS シドニーリージョンでリリースされたばかりの Amazon Connect に注目。人工知能を活用した文章読み上げサービス Amazon Polly と組み合わせ、クラウドによる IVR システ

AWS 匯入事例株式會社 朝日新聞社

公開された検索システムでは、記事の文章を入力するとそれに合った過去の関連記事と寫真が自動で提案され、検索結果のリストは、最新順、ページビュー順、有料會員化したコンバージョンレート順等でソート表示もできるようになっています。このため、編集者はこの検索システムで瞬時に関連記事や寫真を探し出

AWS 匯入事例株式會社 毎日新聞社

リニューアルされた CMS では、専用 GUI を通してのコンテンツ入力と、新聞製作システムとの連攜によるコンテンツ入力の2つの入力が可能となっています。形式の異なる入力データはデータを解析し共通のデータ形式として Amazon Aurora に登録されます。新聞製作システムからの入力

AWS 匯入事例マガシーク株式會社

マガシークでは、2016 年 3 月末から AWS クラウドへの移行プロジェクトを開始しました。まずはアプリケーションの移行から著手し、データベース移行では AWS Database Migration Service を利用しました。當初はこの移行作業のために 4 人程のエンジニアリ

AWS 匯入事例株式會社 あきんどスシロー

その後、あきんどスシローでは、テイクアウトのネット註文や來店予約ができ、ポイントが貯まるモバイルアプリケーション「スシローアプリ」をクラウドネイティブで開発、提供しています。 「テイクアウトの註文は、平日に比べお盆、クリスマス、年末年始といった數日間だけが極めて大

AWS 匯入事例ミニストップ株式會社

「AWS によって、ミニストップの給與システムと HP システムは、オンプレミスの 50% のリードタイムで構築することができました。運用コストも、今後 5 年間で約 30% の削減を見込んでいます。」(地挽氏) さらに、ミニストップでは、AWS の柔軟性について

AWS 匯入事例株式會社マクロミル

高度なテクノロジーを駆使した革新的なツールの活用により、顧客のマーケティング課題に応えるさまざまなソリューションを提供するマクロミル。同社は、サービス向上とコストの最適化に向けて 2013 年にリサーチサービスを支えるシステムのクラウド移行に著手しました。システムの核となるデータ

AWS 匯入事例株式會社Socket

まず、検討當時の Flipdesk の機能と、近い將來に検討されていた拡張について、各クラウド事業者が提供するサービスでどのように構成できるかが検討されました。「その時點で既に AWS に圧倒的なアドバンテージがありました。」(石井氏) Flipdesk では

AWS 匯入事例 株式會社ジンズ

アマゾン ウェブ サービスでは人材を募集中です。 アマゾン ウェブ サービス(AWS)は、ダイナミックに成長している Amazon.com のビジネス部門の 1 つです。現在、ソフトウェア開発エンジニア、プロダクトマネージャー、アカウントマネージャー、ソリューションアーキテク

AWS 匯入事例 株式會社タイテック

今後、5年間の利用を考えた場合、物理サーバーを匯入する場合と比較して、60%以上のコスト削減になる見通しです。5年後に物理サーバーを再度リプレースすることも考えれば、コスト削減効果は更に高いと言えます。 すぐに新規匯入、増設が可能で、柔軟な匯入計畫が可能で、従量課

AWS 匯入事例 株式會社フジテレビジョン

アマゾン ウェブ サービスでは人材を募集中です。 アマゾン ウェブ サービス(AWS)は、ダイナミックに成長している Amazon.com のビジネス部門の 1 つです。現在、ソフトウェア開発エンジニア、プロダクトマネージャー、アカウントマネージャー、ソリューションアーキテク

AWS 匯入事例 ヴァズ株式會社

サービス開始時には、限られたリソースで構築、運用を実現できる環境が必要でした。また、サービスの成長とともにニーズが少しずつ変化していくため、仕様も常に変更が必要となってきます。このため、簡単、手軽、柔軟であることがインフラ環境に求められます。 このような點からイン

AWS 匯入事例グリー株式會社における Amazon DynamoDB 事例

グリー株式會社では、DynamoDB とそれに基づいたオートセーブ機構の構築によって、実際にすべての課題が高いレベルで解決されています。『アナザーエデン』は 2 年半弱というモバイルソーシャルゲームとしては比較的長い開発期間を経たプロジェクトですが、このうちの 2 年程度を、実際に D