Data Integration

ĐỊNH NGHĨA TÍCH HỢP DỮ LIỆU

Tích hợp dữ liệu bao gồm việc thu thập dữ liệu với các định dạng khác nhau từ các kho lưu trữ riêng biệt - đám mây hoặc db nội bộ hoặc cả hai - và hợp nhất thành dữ liệu sử dụng trong cho báo cáo và phân tích. Tóm lại, tích hợp dữ liệu tập trung dữ liệu và làm cho nó dễ sử dụng hơn và dễ tiếp cận, dễ khai thác hơn.

MỤC ĐÍCH CỦA TÍCH HỢP DỮ LIỆU

Một trong những ứng dụng tích hợp dữ liệu đầu tiên là hợp nhất thông tin khách hàng. Ngày nay, các doanh nghiệp dựa vào một số loại dữ liệu như là một phần quan trọng trong hoạt động của họ. Tích hợp dữ liệu là điều cần thiết cho các tổ chức và doanh nghiệp cần phải kéo tất cả dữ liệu này lại với nhau để cung cấp thông tin chi tiết có giá trị.

Tầm quan trọng của tích hợp dữ liệu ngày càng tăng khi các tổ chức sử dụng nhiều hệ thống và ứng dụng hơn. Các công ty cần dữ liệu nằm trong các hệ thống khác nhau này tập hợp lại để tạo thành một cái nhìn toàn diện. Sau đó, họ có thể sử dụng dữ liệu tích hợp này để cung cấp thông tin cho doanh nghiệp.

Lợi ích của tích hợp dữ liệu bao gồm:

• Một phiên bản duy nhất của sự thật, giữ cho dữ liệu được đồng bộ hóa giữa các ứng dụng
• Một cái nhìn toàn diện, cung cấp thông tin về khách hàng, khách hàng và / hoặc tài khoản
• Tình trạng sẵn có của dữ liệu cho các nhà lãnh đạo doanh nghiệp và nhân viên trong một tổ chức
• Cơ hội để phân tích, dự báo và đưa ra quyết định dựa trên thực tế dựa trên chất lượng cao, dữ liệu hoàn chỉnh

CÁC KIỂU VÀ PHƯƠNG THỨC TÍCH HỢP DỮ LIỆU

Có nhiều loại tích hợp dữ liệu khác nhau, bao gồm di chuyển dữ liệu và đồng bộ hóa dữ liệu. Di chuyển dữ liệu là sự kiện một lần di chuyển dữ liệu từ vị trí này sang vị trí khác. Đồng bộ hóa dữ liệu là một bài tập liên tục, giữ cho dữ liệu giữa hai hoặc nhiều hệ thống hoặc ứng dụng được đồng bộ và nhất quán.

Có nhiều cách tiếp cận khác nhau để tích hợp dữ liệu, bao gồm việc sử dụng phần mềm extract, transform and load (ETL),  managed file transfer (MFT) , enterprise service bus (ESB) và integration platform as a service (iPaaS) . Ngoài ra một số công ty sử dụng kết hợp các phương pháp này, chẳng hạn như kết hợp ESB và iPaaS để hưởng lợi từ các thế mạnh kết hợp của chúng.

Có nhiều phương pháp đưa dữ liệu lại với nhau thành một khung nhìn tích hợp và có các kỹ thuật để hợp nhất dữ liệu lại với nhau về mặt vật lý và cho một phiên bản tích hợp. Cả hai cách đều là một loại tích hợp dữ liệu, sự khác biệt là liệu dữ liệu đã được di chuyển và hợp nhất vật lý và hoặc thao tác thành 1 khung nhìn. Dưới đây là một số phương pháp tiếp cận tích hợp dữ liệu phổ biến:

# 1 Hợp nhất

Hợp nhất dữ liệu, kết hợp dữ liệu vật lý với nhau từ một số hệ thống riêng biệt, tạo ra một phiên bản của dữ liệu tổng hợp trong một kho dữ liệu. Thường thì mục tiêu củng cố dữ liệu là giảm số lượng vị trí lưu trữ dữ liệu. Đặc trưng của phương pháp này là sử dụng extract, transform, and load (ETL) hỗ trợ hợp nhất dữ liệu. ETL lấy dữ liệu từ các nguồn, chuyển đổi nó thành một định dạng dễ hiểu, và sau đó chuyển nó sang cơ sở dữ liệu hoặc kho dữ liệu khác. Quá trình ETL làm sạch, lọc và chuyển đổi dữ liệu, sau đó áp dụng quy tắc kinh doanh trước khi dữ liệu điền vào nguồn mới.

# 2 Nhân bản

Truyền dữ liệu là việc sử dụng các ứng dụng để sao chép dữ liệu từ vị trí này sang vị trí khác. Nó là event-driven và có thể được thực hiện đồng bộ hoặc không đồng bộ. Hầu hết việc truyền dữ liệu đồng bộ đều hỗ trợ trao đổi dữ liệu hai chiều giữa nguồn và đích. Có 2 cách truyền dữ liệu nhân bản là Enterprise application integration (EAI) và enterprise data replication (EDR).

EAI tích hợp các hệ thống ứng dụng để trao đổi thông điệp và giao dịch. Nó thường được sử dụng để xử lý giao dịch kinh doanh theo thời gian thực. Nền tảng tích hợp như một dịch vụ (iPaaS) là một cách tiếp cận hiện đại để tích hợp EAI.

EDR thường chuyển lượng lớn dữ liệu giữa các cơ sở dữ liệu, thay vì các ứng dụng. trình kích hoạt và nhật ký cơ sở được sử dụng để nắm bắt và phổ biến các thay đổi dữ liệu giữa nguồn và cơ sở dữ liệu từ xa.

# 3 Ảo hóa

Ảo hóa sử dụng giao diện để cung cấp chế độ xem thống nhất gần thời gian thực của dữ liệu từ các nguồn khác nhau với các mô hình dữ liệu khác nhau. Dữ liệu có thể được xem ở một vị trí, nhưng không được lưu trữ ở vị trí duy nhất đó. Ảo hóa dữ liệu truy xuất và diễn giải dữ liệu, nhưng không yêu cầu định dạng thống nhất hoặc một điểm truy cập đơn lẻ.

# 4 Liên kết dữ liệu

Liên kết về mặt kỹ thuật là một dạng ảo hóa dữ liệu. Nó sử dụng một cơ sở dữ liệu ảo và tạo ra một mô hình dữ liệu chung cho dữ liệu không đồng nhất từ ​​các hệ thống khác nhau. Dữ liệu được kết hợp với nhau và có thể xem được từ một điểm truy cập duy nhất. Tích hợp thông tin doanh nghiệp (EII) là một công nghệ hỗ trợ liên kết dữ liệu. Nó sử dụng dữ liệu trừu tượng để cung cấp một cái nhìn thống nhất của dữ liệu từ các nguồn khác nhau. Dữ liệu đó sau đó có thể được trình bày hoặc phân tích theo những cách mới thông qua các ứng dụng.  Ảo hóa và liên kết là cách giải quyết tốt cho các tình huống mà hợp nhất dữ liệu là chi phí nghiêm cấm hoặc sẽ gây ra quá nhiều vấn đề bảo mật phải tuân thủ.

# 5 Data Warehousing

Kho lưu trữ được bao gồm trong danh sách này bởi vì nó là một thuật ngữ thường được sử dụng. Tuy nhiên, ý nghĩa của nó là chung chung hơn so với các phương pháp khác đã đề cập trước đó. Kho dữ liệu là kho lưu trữ dữ liệu. Tuy nhiên, khi thuật ngữ “Data Warehousing” được sử dụng, nó ngụ ý việc làm sạch, định dạng lại và lưu trữ dữ liệu, về cơ bản là tích hợp dữ liệu.