Tạo dữ liệu mẫu

Tạo dữ liệu mẫu

Trong bước này, chúng ta sẽ cấu hình Kinesis Data Generator để tạo ra các dữ liệu mẫu và đẩy chúng vào Kinesis Firehose.

Cấu hình Amazon Cognito cho Kinesis Data Generator

  1. Truy cập AWS Management Console.

    • Tìm CloudFormation.
    • Chọn CloudFormation.

    Generate Sample Data

  2. Trong giao diện CloudFormation.

    • Chọn Stacks.
    • Chọn Create stack.

    Generate Sample Data

  3. Tải file cognito-setup.json từ First Cloud Journey.

    • Sử dụng phím tắt Ctrl + S để Save.

  4. Trong giao diện Create stack.

    • Chọn Template is ready.
    • Chọn Upload a template file.
    • Chọn Choose file.
    • Chọn cognito-setup.json.
    • Chọn Next.

    Generate Sample Data

  5. Trong giao diện Specify stack details.

    • Stack name, nhập Kinesis-Data-Generator-Cognito-User.
    • User name, nhập admin.
    • Nhập password bạn muốn sử dụng.
    • Chọn Next.

    Generate Sample Data

  6. Chọn Next.

    Generate Sample Data

  7. Trong giao diện Create stack.

    • Chọn I acknowledge that AWS CloudFormation might create IAM resources.

    Generate Sample Data

  8. Đợi khoảng 5 phút, hoàn thành tạo stack.

    • Chọn Kinesis-Data-Generator-Cognito-User stack.
    • Chọn Event để xem quá trình khởi tạo.

    Generate Sample Data

  9. Trong giao diện Stack.

    • Chọn Kinesis-Data-Generator-Cognito-User stack.
    • Chọn Outputs.
    • Chọn KinesisDataGeneratorUrl.

    Generate Sample Data

  10. Trong giao diện Amazon Kinesis Data Generator, hoàn thành nhập thông tin (thông tin này bạn vừa cấu hình trong bước tạo Stack).

    • Nhập Username.
    • Nhập Password.
    • Chọn Sign In.

    Generate Sample Data

  11. Trong giao diện Amazon Kinesis Data Generator, sau khi hoàn thành đăng nhập.

    • Region, chọn us-east-1.
    • Stream/delivery stream, chọn FCJ-Deliverystream.
    • Records per second, nhập 2000.
    • Chọn Template 1.
    • Nhập đoạn mã sau:
    {
  "uuid": "{{random.uuid}}",
  "device_ts": "{{date.utc("YYYY-MM-DD HH:mm:ss.SSS")}}",
  "device_id": {{random.number(50)}},
  "device_temp": {{random.weightedArrayElement(
    {"weights":[0.30, 0.30, 0.20, 0.20],"data":[32, 34, 28, 40]}
  )}},
  "track_id": {{random.number(30)}},  
  "activity_type": {{random.weightedArrayElement(
        {
            "weights": [0.1, 0.2, 0.2, 0.3, 0.2],
            "data": ["\"Running\"", "\"Working\"", "\"Walking\"", "\"Traveling\"", "\"Sitting\""]
        }
    )}}
}
    • Sau đó, chọn Send data.

    Generate Sample Data

  12. Sau khi send khoảng ~ 100,000 messages.

    • Bạn có thể chọn Stop Sending Data to Kinesis.

    Generate Sample Data

  13. Kiểm tra đảm bảo dữ liệu đã đi tới S3. Truy cập AWS Management Console.

    • Tìm S3.
    • Chọn S3.

    Generate Sample Data

  14. Trong giao diện S3.

    • Chọn Bucket.
    • Chọn asg-datalake-demo-bucket.

    Generate Sample Data

  15. Trong giao diện Bucket.

    • Chọn folder data.

    Generate Sample Data

  16. Sau đó, chọn folder raw2022.

    Generate Sample Data

  17. Như vậy, dữ liệu đã đi tới S3.

Generate Sample Data