「AWS 認定 機械学習 – 専門知識」の学習方法・勉強法・試験対策・合格体験記 ~ How to study for AWS Certified Machine Learning – Specialty(MLS)~
Amazon Web Services(AWS)は今最もシェアを拡大しているパブリッククラウドコンピューティングサービスの一つです。
そして、AWS認定とはAWSクラウドを活用する技術的な専門知識が一定以上あることを証明するAWS公式の認定資格です。
全体的なAWS認定の概要、AWS認定のメリット、主観的な難易度順位、共通する学習方法・勉強法・試験対策・合格体験記については親記事となる
AWS認定全冠を達成した学習方法・勉強法・合格体験記・資格の難易度 ~How to become an ALL AWS Certifications Engineer. How to study for AWS Certifications.~
を参照してください。
「AWS Certified Machine Learning – Specialty(MLS) | AWS 認定 機械学習 – 専門知識」とは
「AWS Certified Machine Learning – Specialty(MLS) | AWS 認定 機械学習 – 専門知識」は一言で言えばAWSクラウドの特徴を活用した高度な機械学習・深層学習環境の設計・構築・運用ができる専門知識を検証する認定と言えるでしょう。
機械学習のラーニングパスでは前提となるAWS認定の取得は特に推奨されていませんが、受験にあたってはこの分野のAWSサービスと関連知識を熟知しておく必要がある専門知識に特化した高度な認定です。
後述の<学習リソース>で紹介している「試験ガイド」や「Exam Readiness」を見ていただければわかっていただけると思いますが、学習しておくべきAWSサービスは「機械学習・深層学習」に関連するサービス全般にわたります。そして、多くのAWSサービスの特徴を理解した上で、さらに高度な機械学習・深層学習環境を実現するソリューションやトラブルシューティングの知識が必要とされるため数あるAWS認定の中でも難易度の高い認定と言えるでしょう。
学習リソース
以下に「AWS Certified Machine Learning – Specialty(MLS) | AWS 認定 機械学習 – 専門知識」のAWS認定に関する学習リソースについて紹介します。
英語の記事や資料が多いですが専門用語中心なので比較的理解しやすいと思います。
英語が苦手な場合はChromeの右クリックで翻訳機能を使って、なんとなくわかる日本語に変換しながら学習するのも良いでしょう。
重要なのは日本語の資料に無い情報は翻訳しながらでも英語を読みすすめて必要な知識を得ることが合格に近づく鍵です。
- AWS認定公式ページ(MLS)
- 試験ガイド(MLS)
- サンプル問題(MLS)
- AWSサービス別資料(AWS Black Belt Online Seminar資料)
- 模擬試験
- AWSトレーニングライブラリ(デジタルトレーニング)
- AWSドキュメント
- よくある質問
- AWS ナレッジセンター
- AWS Machine Learning Blog
- Amazon Web Services ブログ
- AWS News Blog
- AWS Events Content
- AWS認定対策本(MLS)
- Udemy(MLS)
- その他、キーワードでGoogle検索
AWS認定の公式ページには試験の内容や試験の準備に関する資料やリンクがまとめられていますので、最初にこちらを確認するようにしましょう。
まずは試験ガイドで受験するAWS認定の試験範囲とどのような内容が出題されるかを把握します。
次に試験ガイドとセットで掲載されているサンプル問題を解いて、ざっくりとした出題傾向や大まかな出題される知識の粒度を把握します。
AWSドキュメントは詳細で情報量も豊富ですが膨大な量なので、重要点をまとめた「AWSサービス別資料(AWS Black Belt Online Seminar資料)」から各サービスを学習することがおすすめです。
受験するAWS認定の出題傾向や重要点を確認できるため、試験直前の腕試しではなく可能な限り早い段階に受けて対策の糧とするほうが良いです。
ほぼ全ての各認定に用意され、試験準備のための要点がまとめられている「Exam Readiness(MLS)」を受講します。
また、各サービスごとの「Introduction」や「Primer」などのキーワードで出てくるEラーニングを受けて各サービスの理解を深めます。
AWS認定の学習の基本はAWSドキュメントを読むことです。
AWSドキュメントはボリュームが多いため、効率よく学習するには、
「ベストプラクティス(best practice)」
「トラブルシューティング(troubleshooting)」
などの重要事項を絞り込めるキーワードでドキュメント内を検索して重要事項から学習することをおすすめします。
その後、模擬試験の出題傾向から重要と思われる概念を中心に読んだり、時間の余裕があれば全体を通しで読んでいきます。
受験するAWS認定の分野のサービスのQ&Aの内容を学習します。
受験するAWS認定の分野のサービスのAWS ナレッジセンターの内容を学習します。実際のユーザーから最も頻繁に寄せられる質問や要望に対するQ&Aがまとめられているのでとても参考になります。
カテゴリ別ブログで受験するAWS認定に関連するサービスの記事に一通り目を通します。
日本語版AWS News Blogで受験するAWS認定に関連するサービスの記事(特に問題解決方法、アーキテクチャ、事例、認定が新設・改定される前にリリースされた機能追加について説明している記事)を読んでいきます。
英語版AWS News Blogで受験するAWS認定に関連するサービスの記事(特に問題解決方法、アーキテクチャ、事例、認定が新設・改定される前にリリースされた機能追加について説明している記事)を読んでいきます。
過去のAWS Summitやre:Inventの資料などを検索して受験するAWS認定の分野のサービスを学習します。特にre:InventのBreakout Sessionなどのセッションで説明されている内容は参考になります。
最近ではAWS認定に特化した対策本も多く出版されていますので、それらを活用して効率よく重要点を学習していくこともおすすめです。
また、UdemyなどのサードパーティのEラーニングサービスも余裕があれば活用します。
AWSのサービス名、模擬試験でわからなかった用語、その他上記リソースを読んでも内容がわからなかったキーワードなどで検索して出てきたブログなどを参考にします。
日本語だけではなく英語で検索して英語圏のサイトから日本語サイトには無い情報を探すことも知識を増やすことにつながるためおすすめです。
重要ポイント
ここでは「AWS Certified Machine Learning – Specialty(MLS) | AWS 認定 機械学習 – 専門知識」の学習過程で個人的に重要だと感じたポイントをまとめました。
重要ポイントとは言っていますが、各人の知識によって感じ方に個人差があることをご理解の上で参照してください。
Amazon S3
- データレイクストレージとしてのAmazon S3の役割
https://aws.amazon.com/jp/products/storage/data-lake-storage/
Amazon SageMaker
- Amazon SageMakerのトレーニングで使用できる各組み込みアルゴリズムの特徴(どのようなユースケースに使えるアルゴリズムか、CNN・RNNなど元になっているアルゴリズムは何か、過学習などで調整するべきハイパーパラメータは何か、モデルをどう調整するかなど)
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/algos.html - Amazon SageMakerでモデルをトレーニングする
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/how-it-works-training.html - Amazon SageMakerでモデルをデプロイする
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/how-it-works-deployment.html - Amazon SageMakerでバッチ変換を使用してデータセット全体の推論を取得する
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/how-it-works-batch.html - Amazon SageMakerで機械学習モデルを検証する
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/how-it-works-model-validation.html - Amazon SageMakerで使用できるMLフレームワークとツールキット
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/frameworks.html - Amazon SageMakerのトレーニング・推論における組み込みアルゴリズム共通データ形式
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/sagemaker-algo-common-data-formats.html - Amazon SageMakerで独自のトレーニングアルゴリズムを使用する方法
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/your-algorithms-training-algo-dockerfile.html - Amazon SageMakerの自動モデル調整
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/automatic-model-tuning.html - 自動スケーリング設定の負荷テスト
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/endpoint-scaling-loadtest.html - Amazon SageMakerのライフサイクル設定ベストプラクティス
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/nbi-lifecycle-config-install.html - Amazon SageMakerノートブックインスタンスに外部ライブラリとカーネルをインストールする
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/nbi-add-external.html - 推論用のモデルをデプロイ
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/deploy-model.html - マルチモデルエンドポイントで複数のモデルをホストする
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/multi-model-endpoints.html - Amazon SageMakerにおけるセキュリティ
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/security.html - Amazon SageMakerのモニタリング
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/monitoring-overview.html - Amazon SageMaker Ground Truthの概要
https://aws.amazon.com/jp/sagemaker/groundtruth/faqs/
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/sms.html - ワークフォースの作成と管理
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/sms-workforce-management.html - Amazon SageMakerのインフラストラクチャセキュリティ
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/infrastructure-security.html - Amazon SageMakerでDockerコンテナを使用する
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/docker-containers.html - Amazon SageMakerにおけるデータ保護(MLストレージおよびAmazon S3へのデータ保管、データ転送の暗号化方法)
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/data-protection.html - Amazon SageMakerのトレーニングジョブで発生するAmazon S3 AccessDeniedエラーの解決方法
https://aws.amazon.com/jp/premiumsupport/knowledge-center/sagemaker-s3-accessdenied-training/ - VPCインターフェイスエンドポイントを介してAmazon SageMakerに接続する
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/interface-vpc-endpoint.html - Amazon SageMaker Autopilotを使用したモデル開発の自動化
https://docs.aws.amazon.com/ja_jp/sagemaker/latest/dg/autopilot-automate-model-development.html - Amazon SageMakerを使用した安全な機械学習
https://aws.amazon.com/jp/blogs/machine-learning/millennium-management-secure-machine-learning-using-amazon-sagemaker/ - 閉域網でAmazon SageMakerを利用する際のポイントと手順
https://aws.amazon.com/jp/blogs/news/internet-free-sagemaker/ - Amazon SageMaker Studio notebooksで独自のカスタムコンテナイメージを使用する
https://aws.amazon.com/jp/blogs/news/bringing-your-own-custom-container-image-to-amazon-sagemaker-studio-notebooks/ - Amazon SageMakerでカスタマイズされたレコメンダシステムを構築する
https://aws.amazon.com/jp/blogs/machine-learning/building-a-customized-recommender-system-in-amazon-sagemaker/ - Amazon SageMakerを使用して本番稼働でMLモデルのA/Bテストを行う
https://aws.amazon.com/jp/blogs/news/a-b-testing-ml-models-in-production-using-amazon-sagemaker/ - Amazon SageMakerノートブックインスタンスのネットワーク設定と高度なルーティングオプションについて理解する
https://aws.amazon.com/jp/blogs/news/understanding-amazon-sagemaker-notebook-instance-networking-configurations-and-advanced-routing-options/ - 金融業界特集:Amazon SageMakerノートブックインスタンス
https://aws.amazon.com/jp/blogs/news/introducing-a-new-blog-series-service-spotlight-for-financial-services-featuring-amazon-sagemaker-notebook-instances/ - Amazon SageMakerを使用して、整形外科的病理を予測するためのモデルを作成する
https://aws.amazon.com/jp/blogs/news/create-a-model-for-predicting-orthopedic-pathology-using-amazon-sagemaker/ - Amazon SageMakerを使用して、間違いの経済的コストが不均等なモデルをトレーニングする
https://aws.amazon.com/jp/blogs/news/training-models-with-unequal-economic-error-costs-using-amazon-sagemaker/ - Amazon SageMakerを使用して画像を分類する
https://aws.amazon.com/jp/blogs/news/classify-your-own-images-using-amazon-sagemaker/ - Amazon SageMakerのTensorFlow Servingを使用したバッチ推論の実行
https://aws.amazon.com/jp/blogs/news/performing-batch-inference-with-tensorflow-serving-in-amazon-sagemaker/ - Amazon SageMakerスクリプトモードでのTensorFlow Eager Executionの使用
https://aws.amazon.com/jp/blogs/news/using-tensorflow-eager-execution-with-amazon-sagemaker-script-mode/ - AWS Machine LearningとIoTサービスを使用して、芝生のモニタリングと雑草検出ソリューションを構築する
https://aws.amazon.com/jp/blogs/news/building-a-lawn-monitor-and-weed-detection-solution-with-aws-machine-learning-and-iot-services/ - Amazon SageMakerで物体検出アルゴリズムが利用可能に
https://aws.amazon.com/jp/blogs/news/object-detection-algorithm-now-available-in-amazon-sagemaker/ - Amazon SageMakerに組み込みの物体検出アルゴリズムとAWS DeepLensを使用してエッジで鳥の種を識別する
https://aws.amazon.com/jp/blogs/news/identifying-bird-species-on-the-edge-using-the-amazon-sagemaker-built-in-object-detection-algorithm-and-aws-deeplens/ - Amazon SageMakerランダムカットフォレストアルゴリズムを使用したAmazon DynamoDBストリームでの異常検出
https://aws.amazon.com/jp/blogs/news/anomaly-detection-on-amazon-dynamodb-streams-using-the-amazon-sagemaker-random-cut-forest-algorithm/ - 異常検出にビルトインAmazon SageMaker Random Cut Forestアルゴリズムを使用する
https://aws.amazon.com/jp/blogs/news/use-the-built-in-amazon-sagemaker-random-cut-forest-algorithm-for-anomaly-detection/ - XGBoostとAmazon SageMakerを使った機械学習の簡素化
https://aws.amazon.com/jp/blogs/news/simplify-machine-learning-with-xgboost-and-amazon-sagemaker/ - オンプレミス環境からAmazon SageMakerを利用する(ローカルモードの使用)
https://aws.amazon.com/jp/blogs/news/sagemaker_from_onpremises/ - ノートブックインスタンスのトレーニングに Amazon SageMaker のローカルモードを使用する
https://aws.amazon.com/jp/blogs/news/use-the-amazon-sagemaker-local-mode-to-train-on-your-notebook-instance/ - Scikit Dockerコンテナを構築してAmazon SageMakerでScikit-learnモデルのトレーニングとホストを行う
https://aws.amazon.com/jp/blogs/news/train-and-host-scikit-learn-models-in-amazon-sagemaker-by-building-a-scikit-docker-container/ - Amazon SageMakerのバッチ変換によるAmazon VPCおよびAWS KMS暗号化のサポート
https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-batch-transform-now-supports-amazon-vpc-and-aws-kms-based-encryption/ - Amazon SageMakerを使用して人口区分のために米国の国勢調査データを分析する
https://aws.amazon.com/jp/blogs/news/analyze-us-census-data-for-population-segmentation-using-amazon-sagemaker/ - Amazon SageMaker BlazingText: 複数の CPU または GPU での Word2Vec の並列化
https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-blazingtext-parallelizing-word2vec-on-multiple-cpus-or-gpus/ - Amazon SageMaker BlazingText を使用して強化されたテキスト分類と単語ベクトル
https://aws.amazon.com/jp/blogs/news/enhanced-text-classification-and-word-vectors-using-amazon-sagemaker-blazingtext/ - TensorFlowコンテナとAmazon SageMakerでの「独自のアルゴリズムの導入」を活用するカスタムラベルの転移学習
https://aws.amazon.com/jp/blogs/news/transfer-learning-for-custom-labels-using-a-tensorflow-container-and-bring-your-own-algorithm-in-amazon-sagemaker/ - Amazon SageMaker Object2Vecの概要
https://aws.amazon.com/jp/blogs/news/introduction-to-amazon-sagemaker-object2vec/ - Amazon SageMaker Object2Vec が自動ネガティブサンプリングをサポートし、トレーニングをスピードアップする新機能を追加
https://aws.amazon.com/jp/blogs/news/amazon-sagemaker-object2vec-adds-new-features-that-support-automatic-negative-sampling-and-speed-up-training/ - リアルタイム予測のためにAmazon SageMakerを使用してAmazon DynamoDBでデータを分析する
https://aws.amazon.com/jp/blogs/news/analyze-data-in-amazon-dynamodb-using-amazon-sagemaker-for-real-time-prediction/ - Amazon SageMakerアルゴリズムのパイプ入力モードを使用する
https://aws.amazon.com/jp/blogs/news/using-pipe-input-mode-for-amazon-sagemaker-algorithms/ - Amazon SageMaker ファクタリゼーションマシン(因数分解機)アルゴリズムを拡張して上位xの推奨事項を予測する
https://aws.amazon.com/jp/blogs/news/extending-amazon-sagemaker-factorization-machines-algorithm-to-predict-top-x-recommendations/ - Amazon SageMakerとAmazon Redshiftを利用した高速・柔軟・セキュアな機械学習基盤の構築
https://aws.amazon.com/jp/blogs/news/build-fast-flexible-secure-machine-learning-platform-using-amazon-sagemaker-and-amazon-redshift/
Amazon Augmented AI(A2I)
- Amazon A2Iの概要
https://aws.amazon.com/jp/blogs/news/amazon-a2i-is-now-generally-available/
https://aws.amazon.com/jp/augmented-ai/faqs/
Amazon Comprehend
- Amazon Comprehendの概要
https://aws.amazon.com/jp/comprehend/faqs/
https://docs.aws.amazon.com/ja_jp/comprehend/latest/dg/comprehend-general.html - Amazon Transcribe、Amazon Comprehend、Amazon Translateを使用した音声分析のアーキテクチャ
https://aws.amazon.com/jp/blogs/compute/converting-call-center-recordings-into-useful-data-for-analytics/
https://aws.amazon.com/jp/blogs/machine-learning/analyzing-contact-center-calls-part-1-use-amazon-transcribe-and-amazon-comprehend-to-analyze-customer-sentiment/
https://aws.amazon.com/jp/solutions/implementations/ai-powered-speech-analytics-for-amazon-connect/
Amazon Forecast
- Amazon Forecastの概要
https://aws.amazon.com/jp/forecast/faqs/ - Amazon Forecastのデータセットガイドライン
https://docs.aws.amazon.com/ja_jp/forecast/latest/dg/dataset-import-guidelines-troubleshooting.html
Amazon Lex
- Amazon Lexの概要
https://aws.amazon.com/jp/lex/faqs/
Amazon Personalize
- Amazon Personalizeの概要
https://aws.amazon.com/jp/personalize/faqs/
https://docs.aws.amazon.com/ja_jp/personalize/latest/dg/what-is-personalize.html - Amazon Personalizeのイベントレコーディング
https://docs.aws.amazon.com/ja_jp/personalize/latest/dg/recording-events.html - Amazon Personalizeのトレーニングで使用するインタラクションデータの選択
https://docs.aws.amazon.com/ja_jp/personalize/latest/dg/event-values-types.html - Amazon Personalizeを使用してレコメンドエンジンを作成する
https://aws.amazon.com/jp/blogs/news/creating-a-recommendation-engine-using-amazon-personalize/
Amazon Polly
- Amazon Pollyの特徴と概要
https://aws.amazon.com/jp/polly/features/
https://aws.amazon.com/jp/polly/faqs/
https://docs.aws.amazon.com/ja_jp/polly/latest/dg/what-is.html - Amazon Pollyのレキシコン管理
https://docs.aws.amazon.com/ja_jp/polly/latest/dg/managing-lexicons.html - AWSサービスを使用して独自のリアルタイム音声翻訳アプリケーションを構築する
https://aws.amazon.com/jp/blogs/machine-learning/build-your-own-real-time-voice-translator-application-with-aws-services/
Amazon Rekognition
- Amazon Rekognitionの概要
https://aws.amazon.com/jp/rekognition/faqs/ - Amazon Rekognitionを使用して顔認識サービスを構築する
https://aws.amazon.com/jp/blogs/machine-learning/build-your-own-face-recognition-service-using-amazon-rekognition/ - Amazon Rekognition Videoの特徴
https://aws.amazon.com/jp/rekognition/video-features/ - Amazon Rekognition Imageの特徴
https://aws.amazon.com/jp/rekognition/image-features/ - Amazon Kinesis Video StreamsとAmazon Rekognition Videoでハイエンドコンシューマーエクスペリエンスを提供するために顔認識を使用する
https://aws.amazon.com/jp/blogs/news/improve-your-customer-service-using-amazon-kinesis-video-streams-and-amazon-rekognition-video/
Amazon Textract
- Amazon Textractの概要
https://aws.amazon.com/jp/textract/faqs/
Amazon Translate
- Amazon Translateの概要
https://aws.amazon.com/jp/translate/faqs/
https://docs.aws.amazon.com/ja_jp/translate/latest/dg/what-is.html
Amazon Transcribe
- Amazon Transcribeの概要
https://aws.amazon.com/jp/transcribe/faqs/
https://docs.aws.amazon.com/ja_jp/transcribe/latest/dg/what-is-transcribe.html
AWS Deep Learning Containers
- AWS Deep Learning Containersの概要
https://aws.amazon.com/jp/machine-learning/containers/faqs/ - AWS Deep Learning ContainersにおけるAmazon ECS
https://docs.aws.amazon.com/ja_jp/AmazonECS/latest/developerguide/deep-learning-containers.html
AWS DeepLens
- AWS DeepLensの概要
https://aws.amazon.com/jp/deeplens/faqs/ - AWS DeepLensとAmazon Kinesis Video Streamsを使用したクラウドおよびエッジでのビデオ分析
https://aws.amazon.com/jp/blogs/machine-learning/video-analytics-in-the-cloud-and-at-the-edge-with-aws-deeplens-and-kinesis-video-streams/
Amazon Machine Learning
- Amazon Machine Learningの主要な概念(主に一般的な機械学習用語について確認する)
https://docs.aws.amazon.com/ja_jp/machine-learning/latest/dg/amazon-machine-learning-key-concepts.html - データをトレーニングデータと評価データに分割する
https://docs.aws.amazon.com/ja_jp/machine-learning/latest/dg/splitting-the-data-into-training-and-evaluation-data.html - モデル精度の評価:バイナリの分類
https://docs.aws.amazon.com/ja_jp/machine-learning/latest/dg/binary-classification.html - モデル精度の評価:複数クラスの分類
https://docs.aws.amazon.com/ja_jp/machine-learning/latest/dg/multiclass-classification.html - モデル精度の評価:回帰
https://docs.aws.amazon.com/ja_jp/machine-learning/latest/dg/regression.html - モデル精度の向上
https://docs.aws.amazon.com/ja_jp/machine-learning/latest/dg/improving-model-accuracy.html - アンダーフィットとオーバーフィット
https://docs.aws.amazon.com/ja_jp/machine-learning/latest/dg/model-fit-underfitting-vs-overfitting.html - バッチ予測
https://docs.aws.amazon.com/ja_jp/machine-learning/latest/dg/about-batch-predictions.html - オンライン予測
https://docs.aws.amazon.com/ja_jp/machine-learning/latest/dg/online-predictions.html - バイナリモデルインサイト
https://docs.aws.amazon.com/ja_jp/machine-learning/latest/dg/binary-model-insights.html - 複数モデルクラスの洞察
https://docs.aws.amazon.com/ja_jp/machine-learning/latest/dg/multiclass-model-insights.html - 回帰モデルの洞察
https://docs.aws.amazon.com/ja_jp/machine-learning/latest/dg/regression-model-insights.html - 交差検証
https://docs.aws.amazon.com/ja_jp/machine-learning/latest/dg/cross-validation.html
AWS Database Migration Service(AWS DMS)
- AWS SCT、AWS DMS、AWS Snowballを併用した移行
https://aws.amazon.com/jp/blogs/news/enable-large-scale-database-migrations-with-aws-dms-and-aws-snowball/ - AWS SCT、AWS DMSを使用したデータウェアハウスのAmazon Redshiftへの移行
https://aws.amazon.com/jp/getting-started/hands-on/migrate-oracle-to-amazon-redshift/ - OracleデータベースをAmazon RDS PostgreSQLまたはAmazon Aurora PostgreSQLに移行するための成功事例
https://aws.amazon.com/jp/blogs/news/best-practices-for-migrating-an-oracle-database-to-amazon-rds-postgresql-or-amazon-aurora-postgresql-source-database-considerations-for-the-oracle-and-aws-dms-cdc-environment/
https://aws.amazon.com/jp/blogs/news/best-practices-for-migrating-an-oracle-database-to-amazon-rds-postgresql-or-amazon-aurora-postgresql-migration-process-and-infrastructure-considerations/ - AWS DMSのターゲットとしてAmazon S3バケットを使用する
https://aws.amazon.com/jp/premiumsupport/knowledge-center/s3-bucket-dms-target/
AWS IoT Greengrass
- AWS IoT GreengrassのML推論の概要
https://aws.amazon.com/jp/greengrass/ml/ - AWS IoT Greengrassで機械学習の推論を実行する
https://docs.aws.amazon.com/ja_jp/greengrass/v1/developerguide/ml-inference.html
https://aws.amazon.com/jp/blogs/news/industrial-iot-from-condition-based-monitoring-to-predictive-quality-to-digitize-your-factory-with-aws-iot-services/
Amazon Athena
- Amazon AthenaでのMachine Learning(ML)の使用
https://docs.aws.amazon.com/ja_jp/athena/latest/ug/querying-mlmodel.html - Athenaでのパフォーマンスチューニング(パーティション、データの圧縮と分割、ファイルサイズ最適化、ファイル形式Apache ParquetとApache ORCの使用など)
https://aws.amazon.com/jp/blogs/news/top-10-performance-tuning-tips-for-amazon-athena/ - AWS Glueとの統合
https://docs.aws.amazon.com/ja_jp/athena/latest/ug/glue-athena.html
AWS Data Pipeline
- AWS Data Pipelineの概要
https://docs.aws.amazon.com/ja_jp/datapipeline/latest/DeveloperGuide/what-is-datapipeline.html
Amazon Elastic MapReduce(Amazon EMR)
- Amazon EMRクラスターの設定のガイドラインとベストプラクティス(コアノードとタスクノードに使用するインスタンスタイプなど)
https://docs.aws.amazon.com/ja_jp/emr/latest/ManagementGuide/emr-plan-instances-guidelines.html
https://aws.amazon.com/jp/blogs/news/best-practices-for-running-apache-spark-applications-using-amazon-ec2-spot-instances-with-amazon-emr/
AWS Glue
- AWS Lake FormationのFindMatchesによるレコードのマッチング
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/machine-learning.html
https://aws.amazon.com/jp/blogs/news/matching-patient-records-with-the-aws-lake-formation-findmatches-transform/ - AWS Glueがサポートしているアプリケーション(PythonとPySpark拡張機能、Scala)でのAWS Glue ETLスクリプトプログラミング
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/aws-glue-programming.html - AWS Glueデータカタログについて
https://docs.aws.amazon.com/ja_jp/glue/latest/dg/populate-data-catalog.html - データカタログとETLジョブのAWS Glueトリガーを使用してサーバーレスデータレイクを構築および自動化する
https://aws.amazon.com/jp/blogs/news/build-and-automate-a-serverless-data-lake-using-an-aws-glue-trigger-for-the-data-catalog-and-etl-jobs/
Amazon Kinesis
- Amazon Kinesis Data Streamsのスケーリング
https://aws.amazon.com/jp/blogs/news/under-the-hood-scaling-your-kinesis-data-streams/ - Amazon Kinesis Data Streamsの入出力のスループット(シャード)計算
https://aws.amazon.com/jp/kinesis/data-streams/faqs/
https://aws.amazon.com/jp/kinesis/data-streams/pricing/
https://docs.aws.amazon.com/ja_jp/streams/latest/dev/key-concepts.html - Kinesis Data Firehoseのデータ配信先
https://docs.aws.amazon.com/ja_jp/firehose/latest/dev/basic-deliver.html - Kinesis Data Firehoseでの入力レコード形式の変換
https://docs.aws.amazon.com/ja_jp/firehose/latest/dev/record-format-conversion.html - Amazon Kinesis Data Analyticsで機械学習クエリを使用する(データ異常検出、ホットスポット検出)
https://docs.aws.amazon.com/ja_jp/kinesisanalytics/latest/dev/examples-machine.html - AWS Lambdaを使用したAmazon Kinesis Analyticsのデータ前処理
https://aws.amazon.com/jp/blogs/big-data/preprocessing-data-in-amazon-kinesis-analytics-with-aws-lambda/
https://docs.aws.amazon.com/ja_jp/kinesisanalytics/latest/dev/lambda-preprocessing.html - Amazon Kinesis Data Firehose、Amazon Athena、Amazon Redshift を使用して Apache Parquet 最適化データを分析する
https://aws.amazon.com/jp/blogs/news/analyzing-apache-parquet-optimized-data-using-amazon-kinesis-data-firehose-amazon-athena-and-amazon-redshift/
Amazon QuickSight
- Amazon QuickSightでのビジュアルタイプを使用する
https://docs.aws.amazon.com/ja_jp/quicksight/latest/user/working-with-visual-types.html - Amazon QuickSightのML Insights
https://docs.aws.amazon.com/ja_jp/quicksight/latest/user/working-with-analyses.html - Amazon QuickSightでAmazon SageMaker機械学習予測を視覚化する
https://aws.amazon.com/jp/blogs/news/making-machine-learning-predictions-in-amazon-quicksight-and-amazon-sagemaker/ - Amazon EMR、AWS Glue、Amazon QuickSightを使用して自動データプロファイリングおよびレポートソリューションを構築する
https://aws.amazon.com/jp/blogs/news/build-an-automatic-data-profiling-and-reporting-solution-with-amazon-emr-aws-glue-and-amazon-quicksight/
AWS Step Functions
- AWS Step Functionsを使用してAmazon SageMaker、AWS Glueを管理する
https://docs.aws.amazon.com/ja_jp/step-functions/latest/dg/connect-sagemaker.html
https://docs.aws.amazon.com/ja_jp/step-functions/latest/dg/connect-databrew.html
https://aws.amazon.com/jp/blogs/news/orchestrate-amazon-redshift-based-etl-workflows-with-aws-step-functions-and-aws-glue/
Amazon Mechanical Turk
- Amazon Mechanical Turkの概要
https://aws.amazon.com/jp/mturk/faqs/
Others
- AWSの機械学習サービスをグラレコで解説
https://aws.amazon.com/jp/builders-flash/202003/awsgeek-sagemaker/ - 機械学習と感度分析を組み合わせてビジネス戦略を開発する
https://aws.amazon.com/jp/blogs/news/developing-a-business-strategy-by-combining-machine-learning-with-sensitivity-analysis/ - Amazon Aurora機械学習を使用して顧客に関する洞察を得る
https://aws.amazon.com/jp/blogs/news/gain-customer-insights-using-amazon-aurora-machine-learning/ - 機械学習(マシンラーニング)・深層学習(ディープラーニング)の基礎知識
前述の機械学習・深層学習の基礎知識を学べるリソースなどで学習した内容。
学習の参考となる一部のキーワードを次に記載します。教師あり学習、線形回帰、ロジスティック回帰、二項分類、マルチクラス分類、KNN、ランダムフォレスト、決定木、ブートストラップサンプリング、アンサンブル学習、バギング、ブースティング、勾配ブースティング、AdaBoost、XGBoost、サポートベクターマシン(SVM)、マージン最大化、カーネル関数、カーネルトリック、教師なし学習、k-means、エルボー法、クラスタリング(クラスター分析)、主成分分析(PCA)、トレーニングデータ、検証データ、テストデータ、交差検証、k-分割交差検証、ホールドアウト検証、ROC曲線下面積(AUC)、残差プロット、混同行列、True Positive(TP, 真陽性)、False Positive(FP, 偽陽性)、False Negative(FN, 偽陰性)、True Negative(TN, 真陰性)、正解率(accuracy)、適合率(precision)、再現率(recall)、特異率(Specificity)、F値(F-measure)、カテゴリ変数、ラベルエンコーディング、ワンホットエンコーディング、ニューラルネットワーク、単純パーセプトロン、多層パーセプトロン、入力層、隠れ層(中間層)、出力層、重み、誤差逆伝播法、勾配消失問題、活性化関数、恒等関数、シグモイド関数、tanh関数、ReLU関数、ソフトマックス関数、コスト関数、オートエンコーダ、積層オートエンコーダ、事前学習、ファインチューニング、深層信念ネットワーク、勾配降下法、偏微分、最小二乗法、最尤推定、正則化、経験的損失最小化、エポック、バッチサイズ、ミニバッチサイズ、イテレーション数、学習率、局所最適解、大域最適解、鞍点、プラトー、モーメンタム、Adagrad、Adadelta、RMSprop、Adam、偏差、標準偏差、分散、アンダーフィッティング、学習不足、高いバイアス、低いバリアンス、オーバーフィッティング、過学習、低いバイアス、高いバリアンス、L1正則化、ラッソ回帰、L2正則化、リッジ回帰、Elastic Net、ドロップアウト、early stopping、特徴量エンジニアリング、特徴量スケーリング、正規化、標準化、白色化、バッチ正規化、重みの初期化、欠損値の対応方法、リストワイズ法、ペアワイズ法、平均(中央)値代入法、多重代入法、次元削減、特徴選択、特徴抽出、t分布型確率的近傍埋め込み法(T-distributed Stochastic Neighbor Embedding, t-SNE)、線形判別分析(LDA)、確率分布、ハイパーパラメータ、ランダムサーチ、グリッドサーチ、ベイズ最適化、畳み込みニューラルネットワーク(CNN)、畳み込み層、特徴マップ、プーリング層、ダウンサンプリング、maxプーリング、avgプーリング、全結合層、不均衡データへの対応方法、データ拡張(水増し)、オーバーサンプリング、SMOTE、アンダーサンプリング、You Only Look Once(YOLO)、シングルショットマルチボックス検出器(Single Shot MultiBox Detector, SSD)、バウンディングボックス、セマンテックセグメンテーション、インスタンスセグメンテーション、転移学習、リカレントニューラルネットワーク(RNN)、LSTM、GRU、強化学習、Deep Q-Network(DQN)、深層強化学習、深層生成モデル、画像生成モデル、変分オートエンコーダ(VAE)、敵対的生成ネットワーク(GAN)、ジェネレーター、ディスクリミネーター、word2vec、seq2seq、TF-IDF、ナイーブベイズ、潜在的ディリクレ配分法(LDA)、協調フィルタリング、ニューラルチューリングマシン(NTM)、WaveNet、折れ線グラフ、散布図、箱ひげ図(ボックスプロット)、ヒートマップ、ヒストグラム、ピボットテーブル、など