A Strategic Approach to Data Transfer Methods

Tóm tắt : Các hệ thống quản lý cơ sở dữ liệu đã phát triển để giải quyết việc lưu trữ và quản lý terabyte dữ liệu; Tuy nhiên, vấn đề trao đổi hiệu quả khối lượng lớn dữ liệu giữa và giữa các ứng dụng doanh nghiệp vẫn còn. Bài viết này khám phá một chiến lược truyền dữ liệu toàn doanh nghiệp cần thiết để hướng dẫn các học viên CNTT và cho phép đại diện nhất quán của các thực thể kinh doanh chính trên các ứng dụng doanh nghiệp. (16 trang đã in)

Nội dung

Giới thiệu 
Nền tảng 
Đối tượng mục tiêu 
Định nghĩa Định nghĩa 
Quy trình kinh doanh Xem xét 
Phân tích Tùy chọn 
Kết luận

Giới thiệu

Ngày nay, doanh nghiệp được thúc đẩy bởi có quyền truy cập vào đúng thông tin vào đúng thời điểm. Thông tin là cuộc sống cho doanh nghiệp. Tuy nhiên, việc truy cập kịp thời vào đúng thông tin là phức tạp bởi số lượng và độ phức tạp của các ứng dụng kinh doanh và khối lượng dữ liệu được tăng lên được duy trì. Dữ liệu cần được chia sẻ để các quy trình kinh doanh có hiệu quả trên toàn doanh nghiệp. Các tổ chức có nhiều cách khác nhau để họ có thể chia sẻ dữ liệu. Một tập hợp đầy đủ các ứng dụng hoặc truy cập vào cơ sở dữ liệu phổ biến là lý tưởng. Tuy nhiên, nếu các lựa chọn thay thế này không thực tế, dữ liệu phải được chuyển từ một ứng dụng hoặc cơ sở dữ liệu sang một ứng dụng hoặc cơ sở dữ liệu khác và nhà thiết kế phải chọn từ phạm vi các lựa chọn thay thế tồn tại để truyền dữ liệu. Kết quả là,

Hầu hết các doanh nghiệp đã mua hoặc xây dựng các ứng dụng hỗ trợ thực hiện các quy trình kinh doanh cụ thể cho các đơn vị kinh doanh tự trị trong doanh nghiệp. Trong khi các ứng dụng này phục vụ nhu cầu cụ thể của các đơn vị kinh doanh, vẫn có nhu cầu chia sẻ dữ liệu được thu thập hoặc duy trì bởi các ứng dụng này với phần còn lại của doanh nghiệp. Trong trường hợp các ứng dụng đóng vai trò là Hệ thống ghi, khối lượng dữ liệu được chia sẻ tương đối cao. Hơn nữa, các doanh nghiệp đã tích luỹ được khối lượng dữ liệu khổng lồ trong vài thập kỷ qua vì chi phí lưu trữ đã giảm và số lượng hoạt động được theo dõi trong môi trường thương mại điện tử đã phát triển vượt ra ngoài thế giới trung tâm máy tính lớn.

Các tổ chức CNTT hiện đại phải đối mặt với thách thức về lưu trữ, quản lý và tạo điều kiện trao đổi dữ liệu với khối lượng chưa từng có. Trong khi các hệ thống quản lý cơ sở dữ liệu đã phát triển để giải quyết việc lưu trữ và quản lý terabyte dữ liệu, vấn đề trao đổi hiệu quả khối lượng lớn dữ liệu giữa và giữa các ứng dụng doanh nghiệp vẫn còn. Một chiến lược truyền dữ liệu toàn diện, âm thanh trên toàn doanh nghiệp là cần thiết để hướng dẫn các học viên CNTT và cho phép đại diện nhất quán của các thực thể kinh doanh chính trên các ứng dụng doanh nghiệp.

Lý lịch

Thế giới máy tính lớn của những năm 70 bao gồm các ứng dụng nguyên khối bằng thẻ đục lỗ, nhiều trong số đó tiếp tục là hệ thống kỷ lục trong các tổ chức hiện nay. Sự ra đời của máy tính cá nhân trong thập niên 80 đã thúc đẩy thế giới máy khách-máy chủ của những năm đầu 90, nơi PC phát triển thành một máy trạm khách hàng mạnh mẽ. Sức mạnh xử lý tiếp tục tăng theo cấp số nhân dẫn đến việc giới thiệu các máy chủ tầm trung được sử dụng bởi các đơn vị kinh doanh chính trong tổ chức. Công nghệ máy chủ khách hàng đã cho các đơn vị kinh doanh tự trị này sức mạnh để lưu trữ và sử dụng dữ liệu trong thế giới riêng của họ. Sự tự chủ như vậy đã sinh ra nhiều kho lưu trữ đã thực hiện tốt công việc lưu trữ các túi dữ liệu bị cô lập trong doanh nghiệp. N-tầng phân phối điện toán vào cuối những năm 90 '

Trong khi các quy trình nghiệp vụ của bộ phận không bị ảnh hưởng bởi sự gia tăng của dữ liệu trên nhiều kho, thì tồn tại một nhu cầu quan trọng để tận dụng dữ liệu ở cấp doanh nghiệp - cũng như ở cấp độ đơn vị kinh doanh. Ví dụ, các tổ chức cần có một cái nhìn mức doanh nghiệp của khách hàng và phục vụ khách hàng của họ như là một thực thể logic duy nhất. Trong thế giới hiện tại của tương tác trực tuyến thời gian thực với khách hàng, phản ứng hệ thống từ đầu đến cuối cũng đã trở thành một yếu tố thành công quan trọng. Các yêu cầu cơ bản để cung cấp dịch vụ khách hàng cơ bản đã không thay đổi qua nhiều năm. Tuy nhiên, việc bảo trì và truy xuất dữ liệu một cách khéo léo để cung cấp dịch vụ như vậy đã trở thành một quá trình phức tạp hơn nhiều.

Mặc dù phức tạp này, các doanh nghiệp ngày nay cần phải có quyền truy cập vào tất cả các túi dữ liệu cũng như các hệ thống bản ghi ban đầu. Việc truy cập như vậy được thực hiện bằng cách xây dựng các cơ chế kết nối với các hệ thống khác nhau hoặc bằng cách truyền dữ liệu giữa các hệ thống theo các khoảng thời gian định kỳ. Công cụ tích hợp ứng dụng doanh nghiệp (EAI) có thể được áp dụng để di chuyển các giao dịch và tin nhắn từ ứng dụng này sang ứng dụng khác. Công cụ Extract Transformation and Load (ETL) thực hiện nhiệm vụ tương tự nhưng thường di chuyển dữ liệu hàng loạt.

Bài viết này mô tả các tùy chọn có sẵn để giải quyết vấn đề chia sẻ dữ liệu này. Trong khi các tùy chọn không loại trừ lẫn nhau, chúng đại diện cho các nguyên tắc thiết kế và thực thi khác nhau một cách hợp lý.

Khán giả mục tiêu

Nhân viên CNTT đang phải đối mặt với những thách thức trong việc chia sẻ dữ liệu giữa nhiều ứng dụng trong doanh nghiệp sẽ được hưởng lợi từ nội dung của bài viết này. Những nhân viên như vậy bao gồm Kiến trúc sư doanh nghiệp CNTT, Kiến trúc sư dữ liệu, Kiến trúc sư tích hợp cũng như Chuyên gia về vấn đề đối tượng cho các ứng dụng doanh nghiệp chủ chốt. Các nhà quản lý quy trình và chức năng trong doanh nghiệp làm việc chặt chẽ với các kiến ​​trúc sư CNTT sẽ phát triển sự đánh giá cao về sự phức tạp của việc chia sẻ dữ liệu được thúc đẩy bởi những thay đổi trong quy trình kinh doanh.

Định nghĩa vấn đề

Các ứng dụng thường cần phải làm cho dữ liệu của họ có thể truy cập được vào các ứng dụng và cơ sở dữ liệu khác vì nhiều lý do khác nhau. Dữ liệu có thể cần phải được chuyển từ một nền tảng này sang nền tảng khác hoặc từ một vị trí địa lý này sang vị trí địa lý khác. Dữ liệu có thể cần phải được di chuyển để làm cho nó dễ tiếp cận với các ứng dụng khác cần nó mà không ảnh hưởng đến hiệu năng của hệ thống nguồn. Có thể cần phải di chuyển các thay đổi trong dữ liệu để đồng bộ hóa hai hệ thống. Thông thường, các công ty sẽ tạo một kho lưu trữ được chia sẻ, được gọi là kho dữ liệu hoạt động (ODS), để thu thập dữ liệu từ các hệ thống nguồn và làm cho nó có sẵn cho các hệ thống và cơ sở dữ liệu khác. Dữ liệu sau đó phải được chuyển từ ứng dụng gốc sang ODS.

Có nhiều cách để thực hiện truyền dữ liệu và nhiều yếu tố cần xem xét khi lựa chọn giải pháp thay thế phù hợp nhất với tình huống hiện tại. Hiệu quả trở nên quan trọng khi khối lượng dữ liệu lớn. Chuyển dữ liệu hàng loạt có thể không phải là một thay thế khả thi do hạn chế về thời gian. Đồng thời, việc xác định dữ liệu thay đổi có thể là một thách thức.

Ví dụ bên dưới thể hiện một tình huống thực tế trong đó tình huống này thể hiện chính nó.

Kịch bản mẫu

Trang web hướng đến khách hàng cho phép người đăng ký dịch vụ đăng ký trực tuyến. Các quy trình liên quan đến hoạt động này sẽ nắm bắt một số yếu tố dữ liệu có liên quan về người đăng ký. Dữ liệu được thu thập sẽ ngay lập tức được đặt trong hệ thống bán hàng (ví dụ: Hệ thống quản lý đơn đặt hàng). Trong ví dụ này, hệ thống Bán hàng sẽ được coi là Hệ thống ghi cho các yếu tố dữ liệu này. Dữ liệu người đăng ký, không nghi ngờ gì, quan trọng đối với bộ phận Bán hàng. Đồng thời, nó cũng quan trọng đối với một số đơn vị kinh doanh khác. Ví dụ, bộ phận Thanh toán sẽ cần nó để đảm bảo rằng các giao dịch tài chính với người đăng ký được thực hiện. Và, bộ phận Tiếp thị có thể muốn dữ liệu này giúp thiết kế các chiến dịch để bán chéo và bán các sản phẩm và dịch vụ cho người đăng ký. Do đó, điều quan trọng là dữ liệu người đăng ký phải được đặt;

Từ quan điểm của hệ thống, Hình 1 trình bày kịch bản vừa mô tả. Nó minh họa một ứng dụng front-end lưu trữ dữ liệu vào System of Record độc quyền của nó và nhận được một sự thừa nhận về một bản cập nhật thành công. Hệ thống ghi âm này liên tục được phổ biến với khối lượng lớn dữ liệu cần được chuyển đến Kho dữ liệu hoạt động để chúng có thể được chia sẻ với phần còn lại của doanh nghiệp. Các phần tiếp theo minh họa các cách khác nhau để hoàn thành việc chuyển giao đó.

Hình 1. Kịch bản mẫu

Hình 1 minh họa các bước sau:

1. Front End Application cập nhật hệ thống Record.
2. Hệ thống Record ghi nhận cập nhật thành công.
3. Chuyển dữ liệu đến kho dữ liệu hoạt động.

Tùy thuộc vào ngữ cảnh của miền vấn đề cụ thể cho một doanh nghiệp cụ thể, có nhiều cách tiếp cận để thực hiện việc chuyển dữ liệu sang ODS trong trường hợp này. Các phương pháp tiếp cận khác nhau có liên quan được mô tả trong các phần tiếp theo.

Các cách tiếp cận được trình bày dựa trên các giả định sau:

1. Để đơn giản, chúng tôi đã giả định rằng chỉ có một Hệ thống Bản ghi trong Doanh nghiệp cho bất kỳ phần tử dữ liệu đã cho nào. Việc truyền dữ liệu đến nhiều Hệ thống ghi có thể được thực hiện bằng cách sử dụng một hoặc nhiều tùy chọn này.
2. Bản cập nhật cho Hệ thống bản ghi có thể có nghĩa là tạo, sửa đổi hoặc thậm chí xóa bản ghi logic.
3. Bước xác nhận là thông báo cuối cùng cho Ứng dụng Giao diện Người dùng cho biết tất cả các bước trung gian có liên quan đến việc truyền dữ liệu đến Hệ thống Bản ghi cũng như Cửa hàng Dữ liệu Hoạt động đã được hoàn tất thành công. Các bước xác nhận bổ sung giữa các cặp nút đã chọn có thể cần thiết tùy thuộc vào ngữ cảnh triển khai cho các kịch bản kinh doanh cụ thể.
4. Siêu dữ liệu, trong khi không được giải quyết trực tiếp trong bài viết này, là một yếu tố quan trọng để chuyển dữ liệu 1 . Giả sử rằng tất cả các tùy chọn được thảo luận đều đòi hỏi phải nắm bắt, thao tác và truyền siêu dữ liệu. Tuy nhiên, các cuộc thảo luận trong bài báo này được giới hạn trong luồng logic dữ liệu giữa các nút khác nhau trong quá trình đầu cuối đến cuối.

Đánh giá quy trình kinh doanh

Có nhiều tùy chọn khác nhau để kỹ thuật chuyển dữ liệu trong kịch bản mẫu được định nghĩa trong Hình 1 .

Tuy nhiên, trước khi thực hiện bất kỳ tùy chọn nào, bạn nên thận trọng để lùi lại một bước, xem xét và xác thực nhu cầu kinh doanh của việc chuyển dữ liệu. Việc truyền dữ liệu thực tế giữa các hệ thống có thể là một biểu hiện vật lý của một vấn đề khác ở cấp độ quy trình nghiệp vụ hợp lý. Việc xem xét các quy trình từ đầu đến cuối có thể làm lộ các cơ hội để hợp lý hóa quy trình nghiệp vụ dẫn đến việc hợp lý hoá các ứng dụng cấu thành. Việc hợp lý hoá như vậy có thể giảm thiểu và trong một số trường hợp, loại bỏ sự cần thiết phải chuyển dữ liệu như vậy. Một số câu hỏi đơn giản để hỏi sẽ bao gồm:

• Tại sao dữ liệu cần được chuyển?
• Tại sao dữ liệu không thể ở trong một hệ thống?

Một câu trả lời khả thi cho những câu hỏi này có thể loại bỏ sự cần thiết phải chuyển dữ liệu như vậy. Nếu vẫn còn nhu cầu rõ ràng về việc chuyển giao dữ liệu này ngay cả sau khi xem xét quy trình nghiệp vụ đầu cuối, thì có nhiều tùy chọn có sẵn rộng rãi phù hợp với một hoặc nhiều cách tiếp cận sau:

• EAI Technologies
• ETL Technologies
• Kết hợp

Các tùy chọn còn lại khám phá những khả năng khác nhau này.

Tùy chọn chuyển dữ liệu

Phần này mô tả các tùy chọn kiến ​​trúc có sẵn để chia sẻ dữ liệu giữa các ứng dụng rời rạc. Cuộc thảo luận ở đây độc lập với các giải pháp thương mại; thay vào đó nó tập trung vào các thể loại công nghệ có sẵn trên thị trường hiện nay.

Các tùy chọn được thảo luận trong phần này là:

• Tùy chọn 1: Chuyển khoản thời gian thực EAI
• Tùy chọn 2: Tuyên truyền EAI của các hồ sơ gia tăng
• Tùy chọn 3: Chuyển hàng loạt gia tăng (Ghi dữ liệu đã thay đổi)
• Tùy chọn 4: Nhân bản gốc
• Tùy chọn 5: Làm mới hàng loạt bằng Chuyển tệp hàng loạt
• Tùy chọn 6: Chuyển khoản ETL / ELT
• Tùy chọn 7: Tích hợp thông tin doanh nghiệp

Tùy chọn 1: Chuyển khoản thời gian thực EAI

Hình 2 minh họa cách thức mà một EAI Integration Broker2 có thể tạo thuận lợi cho việc chuyển giao này. Tùy chọn này được định hướng theo ứng dụng và thích hợp nhất cho việc truyền dữ liệu trong đó các bản cập nhật cho Hệ thống ghi và ODS là một phần của cùng một giao dịch. Một môi giới tích hợp nhận giao dịch được khởi tạo bởi ứng dụng Front End sau đó nó chịu trách nhiệm cho việc truyền dữ liệu đến System of Record cũng như Kho dữ liệu hoạt động. Các bước được thực thi theo trình tự sau:

1. Ứng dụng Giao diện Người dùng sẽ bắt đầu cập nhật Hệ thống Bản ghi.
2. Integration Broker nhận bản cập nhật này từ ứng dụng Front End và gửi nó đến System of Record.
3. Hệ thống ghi nhận thông tin cập nhật.
4. Nhà môi giới tích hợp ngay lập tức khởi tạo một bản cập nhật tương ứng cho Kho dữ liệu hoạt động, từ đó thực hiện việc truyền dữ liệu này ngay lập tức, theo thời gian thực.
5. ODS thừa nhận việc nhận bản cập nhật này.
6. Nhà môi giới tích hợp gửi xác nhận của các bản cập nhật này cho Ứng dụng Front-End.

Hình 2. Chuyển giao thời gian thực EAI

Tình huống sử dụng - Tổ chức tài chính

Ứng dụng CRM phía trước sẽ ghi lại dữ liệu về khách hàng tiềm năng đang gọi vào Trung tâm liên hệ. Ứng dụng CRM truyền bá dữ liệu khách hàng tiềm năng đến Kho lưu trữ dữ liệu hoạt động chứa dữ liệu khách hàng cơ bản cho tham chiếu rộng của doanh nghiệp. Dữ liệu này cần phải được truyền cho ODS ngay lập tức để dữ liệu mới nhất có sẵn cho tất cả các ứng dụng khách hàng khác như Máy rút tiền tự động (ATM), trung tâm tài chính (chi nhánh) và truy cập ngân hàng trực tuyến.

Tùy chọn 2: Tuyên truyền EAI của các hồ sơ gia tăng

Tùy chọn này được định hướng theo ứng dụng và phù hợp với dữ liệu ưu tiên thấp hơn. Ứng dụng Front End cập nhật Hệ thống bản ghi sau khi dữ liệu này được truyền đến ODS thông qua Integration Broker. Đây là đặc điểm của các kịch bản có cổng kết nối chặt chẽ với hệ thống ERP hoặc CRM. Có hai cơ chế khác nhau để thực hiện việc chuyển dữ liệu này sang ODS:

• Tùy chọn 2a: Đẩy tới Nhà môi giới Tích hợp: Hệ thống Bản ghi bắt đầu thông báo về việc nhận dữ liệu này cho Nhà môi giới Tích hợp. Các 'đẩy' thường xuyên được kích hoạt bởi một yêu cầu theo lịch trình, ví dụ, cập nhật hàng ngày.
• O ption 2b: Kéo từ môi giới tích hợp: Nhà môi giới tích hợp liên tục thăm dò ý kiến ​​hệ thống hồ sơ để nhận dữ liệu này. 'Kéo' thường xuyên được kích hoạt bởi một sự kiện kinh doanh trong ứng dụng bằng cách sử dụng ODS, ví dụ, một giao dịch dịch vụ yêu cầu dữ liệu khách hàng cập nhật.

Kịch bản sử dụng - Tổ chức sản xuất

Một ứng dụng ERP nhập lệnh được đại diện dịch vụ khách hàng sử dụng để nhập các đơn đặt hàng mỗi giờ trực tiếp vào cơ sở dữ liệu đơn đặt hàng phụ trợ. Các đơn đặt hàng mới nhận phải được chuyển đến kho lưu trữ bảng điều khiển dịch vụ doanh nghiệp hàng ngày. Trang tổng quan dịch vụ doanh nghiệp cung cấp cho quản lý một cái nhìn toàn diện về khối lượng đơn đặt hàng kể từ ngày làm việc trước đó. Tùy chọn đầu tiên có thể là 'đẩy' hàng ngày các đơn hàng mới từ ứng dụng ERP đến kho lưu trữ bảng điều khiển. Hoặc, bảng điều khiển có thể bắt đầu 'kéo' từ cơ sở dữ liệu đơn đặt hàng thông qua Nhà môi giới tích hợp để cung cấp dữ liệu này khi quản lý yêu cầu chế độ xem mới nhất của khối lượng đơn đặt hàng. Mỗi tùy chọn này được giải thích chi tiết hơn bên dưới.

Tùy chọn 2a: Đẩy vào môi giới tích hợp

Hình 3 minh họa việc truyền EAI của các bản ghi gia tăng bằng cách có System of Record đẩy dữ liệu này đến Integration Broker. Các bước được thực thi theo trình tự sau:

1. Ứng dụng Giao diện Người dùng Bắt đầu cập nhật Hệ thống Bản ghi
2. System of Record thông báo cho Integration Broker về việc nhận dữ liệu này sau khi hoàn tất cập nhật.
3. Integration Broker nhận bản cập nhật này và gửi nó đến ODS.
4. ODS thừa nhận bản cập nhật.
5. Integration Broker gửi một sự thừa nhận về việc truyền bá thành công dữ liệu này đến Ứng dụng Front End.

Hình 3. Đẩy vào môi giới tích hợp

Tùy chọn 2b: Kéo từ Nhà môi giới tích hợp

Hình 4 minh họa việc nhân giống EAI của các bản ghi gia tăng bằng việc tích hợp bộ dò môi giới tích hợp Hệ thống ghi lại một cách thường xuyên và truyền bá dữ liệu này đến ODS. Các bước được thực thi theo trình tự sau:

1. Ứng dụng Giao diện Người dùng sẽ bắt đầu cập nhật Hệ thống Bản ghi.
2. Integration Broker thăm dò ý kiến ​​của System of Record để kiểm tra xem liệu có bất kỳ dữ liệu mới nào được nhận hay không.
3. Hệ thống hồ sơ phản hồi cuộc thăm dò ý kiến.
4. Nếu có dữ liệu mới được phổ biến, Integration Broker gửi bản cập nhật cho ODS.
5. ODS thừa nhận bản cập nhật.
6. Integration Broker gửi một sự thừa nhận về việc truyền bá thành công dữ liệu này đến Ứng dụng Front End.

Hình 4. Kéo từ môi giới tích hợp

Tùy chọn 3: Chuyển hàng loạt gia tăng (Ghi dữ liệu đã thay đổi)

Tùy chọn 3 là hướng dữ liệu và được sử dụng định kỳ di chuyển dữ liệu mới hoặc thay đổi từ nguồn đến kho dữ liệu đích. Tùy chọn này có thể áp dụng cho các tình huống có thể chấp nhận cho dữ liệu được cập nhật trong Hệ thống Bản ghi được cung cấp cho các ứng dụng khác sau một cửa sổ thời gian hữu hạn (ví dụ: một ngày). Trong các tình huống như vậy, dữ liệu được chuyển trên cơ sở gia tăng từ Hệ thống bản ghi đến ODS. Tùy chọn chia sẻ dữ liệu này bao gồm việc thu thập dữ liệu đã thay đổi từ một hoặc nhiều ứng dụng nguồn và sau đó chuyển dữ liệu này đến một hoặc nhiều thao tác đích theo lô. Điều này được mô tả bằng đồ thị trong Hình 5 . Các cân nhắc điển hình trong tùy chọn này bao gồm việc xác định một cửa sổ chuyển hàng loạt có lợi cho cả hệ thống nguồn và hệ thống đích để trích xuất và truyền tải dữ liệu.

Hình 5. Chuyển hàng loạt gia tăng

Có hai cách để thực hiện điều này:

• Nhật ký thay đổi: Hệ thống ghi lưu trữ dữ liệu đã thay đổi trong các bộ hồ sơ chuyên dụng để Chương trình chuyển hàng loạt có thể đọc trực tiếp các bộ bản ghi này để lấy delta kể từ lần chuyển cuối cùng. Trong trường hợp này, System of Record chịu trách nhiệm xác định dữ liệu đã thay đổi trong thời gian thực và khi thay đổi xảy ra.
• So sánh với trước: Chương trình chuyển hàng loạt tận dụng dữ liệu trong các bản ghi cơ sở trong Hệ thống bản ghi để xác định nội dung đã thay đổi. Trong trường hợp này, Chương trình chuyển giao hàng loạt có trách nhiệm so sánh trạng thái hiện tại của dữ liệu với các trạng thái trước đó để xác định những gì đã thay đổi trong thời gian tạm thời.

Chuỗi sự kiện điển hình cho loại chia sẻ dữ liệu này như sau:

1. Ứng dụng Giao diện Người dùng sẽ bắt đầu cập nhật Hệ thống Bản ghi.
2. Chương trình chuyển hàng loạt tìm nạp dữ liệu đã thay đổi từ System of Record.
3. Batch Transfer Program cập nhật kho dữ liệu hoạt động.
4. Một xác nhận được gửi đến Ứng dụng Giao diện Người dùng, Hệ thống Bản ghi và / hoặc Chương trình Chuyển Hàng loạt sau khi Kho dữ liệu Hoạt động đã được cập nhật thành công.

Tình huống sử dụng - Nhà cung cấp dịch vụ

Lực lượng bán hàng sử dụng một cơ sở dữ liệu bán hàng dẫn theo dõi tất cả các khách hàng tiềm năng mà đại diện bán hàng đang theo đuổi. Đơn vị phân phối dự án theo dõi các tài nguyên cần thiết cho hoạt động bán hàng và phân phối có liên quan. Đơn vị phân phối dự án ánh xạ các yêu cầu tài nguyên cho các dự án hiện có cũng như các khách hàng tiềm năng hiện đang được tiến hành. Để kết thúc, dữ liệu khách hàng tiềm năng được chuyển hàng ngày từ cơ sở dữ liệu khách hàng tiềm năng đến cơ sở dữ liệu phân phối dự án thông qua tùy chọn chuyển hàng loạt gia tăng.

Tùy chọn 4: Nhân bản gốc

Tùy chọn 4 là một tùy chọn theo hướng dữ liệu đặc biệt phù hợp với các tình huống sẵn sàng cao, ví dụ: dịch vụ khẩn cấp, nơi lưu trữ dữ liệu nguồn và đích cần đồng bộ hóa hầu như mọi lúc. Tùy chọn chia sẻ dữ liệu này liên quan đến việc sử dụng các tính năng riêng của các hệ thống quản lý cơ sở dữ liệu (DBMS) để phản ánh các thay đổi trong một hoặc nhiều cơ sở dữ liệu nguồn tới một hoặc nhiều cơ sở dữ liệu đích. Điều này có thể xảy ra trong (gần) thời gian thực hoặc trong chế độ hàng loạt.

Chuỗi các sự kiện điển hình cho bản sao nhân bản là:

1. Ứng dụng Giao diện Người dùng sẽ bắt đầu cập nhật Hệ thống Bản ghi.
2. Native Replication chuyển dữ liệu từ System of Record sang kho dữ liệu hoạt động.
3. Kho dữ liệu hoạt động gửi một xác nhận về việc nhận dữ liệu trở lại Hệ thống ghi.
4. Hệ thống hồ sơ gửi một xác nhận về sự thành công của hoạt động cho ứng dụng giao diện người dùng.

Hình 6. Nhân bản bản địa

Tình huống sử dụng - Người trả tiền chăm sóc sức khỏe

Dữ liệu xác nhận quyền sở hữu đang được nhập thông qua ứng dụng Máy chủ ứng dụng hai tầng cho RDBMS phụ trợ bởi Đại diện dịch vụ khách hàng. Các cập nhật cho Hồ sơ khách hàng cũng được thực hiện trong Hệ thống ghi trong khi nhập dữ liệu về các xác nhận quyền sở hữu. Bản cập nhật Hồ sơ khách hàng được sao chép trực tiếp vào ODS, là tệp thông tin khách hàng cho tất cả các ứng dụng doanh nghiệp khác.

Tùy chọn 5: Làm mới hàng loạt bằng Chuyển tệp hàng loạt

Tùy chọn này được định hướng dữ liệu và thích hợp khi một lượng lớn dữ liệu, ví dụ, một bảng tham chiếu dữ liệu sản phẩm, cần được định kỳ đưa vào đồng bộ với Hệ thống ghi. Tùy chọn này chuyển tất cả dữ liệu bao gồm các thay đổi mới nhất trên cơ sở định kỳ. Tất cả các hồ sơ được trích xuất từ ​​hệ thống hồ sơ và làm mới vào ODS. Các hồ sơ hiện tại trong ODS được thanh lọc trong mỗi lần chuyển. Việc chuyển tiền như vậy thường được thực hiện ở chế độ hàng loạt qua đêm. Làm mới hàng loạt rất phù hợp cho các kịch bản có chi phí đáng kể liên quan đến việc xác định và truyền bá các thay đổi gia tăng. Cách tiếp cận gia tăng có thể dễ bị lỗi hơn và do đó, bảo trì chuyên sâu.

Các loại chuyển tiền này có thể được thực hiện theo một trong hai cách:

• - Tùy chọn 5a: Trích xuất tệp: Một chương trình trong Hệ thống bản ghi trích xuất tất cả các bản ghi vào tệp trung gian. Tập tin này sau đó được nạp vào ODS bởi một chương trình khác.
• - Tùy chọn 5b: Trích xuất chương trình: Một chương trình riêng biệt truy vấn Hệ thống ghi và chuyển mỗi bản ghi trong thời gian thực sang ODS. Không có tệp trung gian nào được tạo.

Tùy chọn 5a: Trích xuất tệp có làm mới toàn bộ

Hình 7 minh họa quá trình trích xuất dựa trên tệp để truyền dữ liệu hàng loạt. Các bước sau được thực hiện trong quá trình này:

1. Ứng dụng Giao diện Người dùng sẽ bắt đầu cập nhật Hệ thống Bản ghi.
2. Hệ thống ghi nhận thông tin cập nhật.
3. Tất cả các bản ghi được trích xuất thành một tệp trích xuất từ ​​hệ thống bản ghi.
4. Extract File được làm mới thành ODS.

Hình 7. Trích xuất tệp

Tùy chọn 5b: Trích xuất chương trình có làm mới toàn bộ

Hình 8 minh họa quá trình trích xuất dựa trên chương trình để truyền dữ liệu hàng loạt. Các bước sau được thực hiện trong quá trình này:

1. Ứng dụng Giao diện Người dùng sẽ bắt đầu cập nhật Hệ thống Bản ghi.
2. Hệ thống ghi nhận thông tin cập nhật.
3. Trích xuất và tải chương trình lấy và cập nhật tất cả các bản ghi từ hệ thống ghi vào ODS.

Hình 8. Trích xuất chương trình

Không giống như File Extract, việc truy xuất từ ​​System of Record và các bản cập nhật vào ODS là một phần của một giao dịch duy nhất mà không có sự tồn tại lâu dài của dữ liệu. Chương trình Trích xuất và Nạp có thể được kích hoạt tại các khoảng thời gian cố định hoặc khi xảy ra các sự kiện cụ thể. Ví dụ, nó có thể chạy bốn lần một ngày, hoặc cập nhật cho một bảng chủ quan trọng. Trong khi điều này tương tự về mặt kiến ​​trúc với Tùy chọn 3: Chuyển hàng loạt gia tăng (xem Hình 5 ), phạm vi khác: ở đây, tất cả dữ liệu từ Hệ thống Bản ghi được chuyển sang ODS, thay vì chỉ là một thay đổi gia tăng.

Kịch bản sử dụng - Bộ phận nhân sự doanh nghiệp lớn

Các doanh nghiệp quốc tế lớn với hàng ngàn nhân viên có một hệ thống phân cấp tổ chức được lan rộng và sâu trên toàn cầu. Một thay đổi nhỏ đối với cấu trúc phân cấp này có thể có hiệu ứng gợn trên các lớp tổ chức. Trong khi cấu trúc tổ chức được duy trì trong một kho lưu trữ duy nhất, nó được sử dụng trong một chế độ chỉ đọc bởi các ứng dụng khác từ Kho dữ liệu hoạt động.

Cơ cấu tổ chức, do đó, phải được làm mới hoàn toàn một cách thường xuyên trong Kho dữ liệu hoạt động.

Tùy chọn 6: Chuyển khoản ETL / ELT

Tùy chọn 6, được minh họa trong Hình 9 , là dữ liệu được điều khiển và thích hợp nhất khi dữ liệu đáng kể chà và chuyển đổi được yêu cầu khi dữ liệu được di chuyển, ví dụ, để tích hợp vào kho dữ liệu hoặc siêu dữ liệu. Tùy chọn này trùng lặp với cả Lựa chọn 3: Chuyển hàng loạt Incrementalvà Lựa chọn 5: Làm mới hàng loạt chuyển .Sự khác biệt là logic nghiệp vụ được áp dụng cho dữ liệu trong khi nó được vận chuyển từ hệ thống nguồn tới đích. Công cụ ETL thường được sử dụng cho loại truyền dữ liệu này. Dữ liệu nguồn được trích xuất, chuyển đổi trên đường, và sau đó được nạp vào một hoặc nhiều cơ sở dữ liệu đích. Các phép biến đổi được thực hiện trên dữ liệu thể hiện các quy tắc nghiệp vụ của tổ chức. Các quy tắc nghiệp vụ đảm bảo rằng dữ liệu được chuẩn hóa, làm sạch và có thể được tăng cường thông qua tổng hợp hoặc thao tác khác trước khi nó được ghi vào (các) cơ sở dữ liệu đích. Chuyển khoản ETL bao gồm các bước sau:

1. Ứng dụng Giao diện Người dùng sẽ bắt đầu cập nhật Hệ thống Bản ghi.
2. Chương trình chuyển ETL tìm nạp dữ liệu đã thay đổi hoặc hàng loạt từ Hệ thống bản ghi.
3. Chương trình chuyển giao ETL cập nhật kho dữ liệu hoạt động.
4. Một xác nhận được gửi đến Ứng dụng Giao diện Người dùng, Hệ thống Bản ghi và / hoặc Chương trình Chuyển tiền ETL sau khi Kho dữ liệu hoạt động đã được cập nhật thành công.

Hình 9. Chuyển khoản ETL

Điều tương tự cũng áp dụng cho chuyển khoản ELT. Sự khác biệt giữa ETL và ELT nằm trong môi trường mà các phép biến đổi dữ liệu được áp dụng. Trong ETL truyền thống, việc chuyển đổi diễn ra khi dữ liệu đang trên đường từ nguồn tới hệ thống đích. Trong ELT, dữ liệu được nạp vào hệ thống đích, và sau đó được chuyển đổi trong môi trường hệ thống đích. Điều này đã trở thành một lựa chọn phổ biến gần đây vì có hiệu quả đáng kể có thể được thực hiện bằng cách thao tác dữ liệu trong môi trường cơ sở dữ liệu (ví dụ bằng cách sử dụng các thủ tục lưu sẵn).

Tình huống sử dụng - Nhà cung cấp dịch vụ chăm sóc sức khỏe

Chủ sử dụng lao động gửi thông tin về quyền lợi cho nhân viên và người phụ thuộc của họ cho người trả tiền bảo hiểm chăm sóc sức khỏe hàng tuần ghi lại tất cả những thay đổi đã xảy ra mỗi tuần. Dữ liệu đến có định dạng độc quyền cho Nhà tuyển dụng cần phải được chuyển đổi thành định dạng của hệ thống máy tính phụ trợ của nhà cung cấp dịch vụ chăm sóc sức khỏe. Hồ sơ tóm tắt phải được tạo ra liệt kê số lượng người phụ thuộc và trẻ em mà mỗi nhân viên có. Công cụ ETL có thể được sử dụng để thực hiện các chuyển đổi định dạng và nội dung này ở chế độ hàng loạt.

Tùy chọn 7: Tích hợp thông tin doanh nghiệp

Tùy chọn này là một tùy chọn mới nổi và tương tự như Đánh giá quy trình nghiệp vụ . Nó bao gồm việc tạo ra một mô hình dữ liệu hợp lý trên toàn doanh nghiệp đại diện cho các thực thể kinh doanh chính và các mối quan hệ của chúng theo một kiểu thời trang chuẩn hóa nhất quán. Lớp Tích hợp thông tin doanh nghiệp nơi mô hình này cư trú có thông minh nghiệp vụ để thực hiện những điều sau:

• Xác định kho lưu trữ có giá trị chính xác nhất cho mỗi phần tử dữ liệu.
• Xây dựng bộ kết quả bằng cách tìm nạp thông tin phù hợp từ kho lưu trữ phù hợp.
• Tuyên truyền thông tin cập nhật cho tất cả các kho lưu trữ bị ảnh hưởng để chúng luôn ở trạng thái đồng bộ.
• Cung cấp chế độ xem toàn doanh nghiệp cho tất cả các thực thể nghiệp vụ.

Mô hình dữ liệu toàn doanh nghiệp hoạt động như một cơ sở dữ liệu ảo. Trong một số khía cạnh, nó là một khung nhìn , trong các thuật ngữ cơ sở dữ liệu quan hệ, trên các bảng trải rộng trên nhiều cơ sở dữ liệu vật lý. Là một phần của trách nhiệm tích hợp thông tin của nó, lớp Tích hợp thông tin doanh nghiệp (EII) có thể truyền bá thông tin đến ODS và Hệ thống ghi đảm bảo rằng chúng được đồng bộ hóa. Điều này được minh họa trong Hình 10 .

Các bước thực hiện sau đây có liên quan khi tùy chọn EII được thực hiện:

1. Ứng dụng Giao diện Người dùng sẽ bắt đầu cập nhật Hệ thống Bản ghi thông qua lớp EII.
2. Cập nhật lớp EII Hệ thống bản ghi.
3. Lớp EII cập nhật Kho dữ liệu hoạt động.
4. Sau khi hoàn tất thành công cả hai bản cập nhật, lớp EII gửi xác nhận trở lại Ứng dụng Giao diện Người dùng.

Hình 10. Tích hợp thông tin doanh nghiệp

Các tình huống hợp chất

Ngoài kịch bản mẫu được mô tả ở đầu bài viết này và các tình huống sử dụng được mô tả trong mỗi tùy chọn, có những tình huống phức tạp, nơi cần phải đánh giá cẩn thận các tùy chọn khác nhau để chuyển dữ liệu. Các kịch bản này bao gồm, nhưng không giới hạn đối với:

• Tạo một DW hoặc ODS với dữ liệu từ các hệ điều hành
• Populating dữ liệu marts từ một DW hoặc một ODS
• Truyền lại dữ liệu tích hợp vào các ứng dụng
• Kết hợp truyền dữ liệu từ ứng dụng đến ứng dụng và ODS

Ba kịch bản đầu tiên có thể được xử lý bằng cách sử dụng Business Process Review và / hoặc Option 1: Chuyển giao thời gian thực EAI thông qua Tùy chọn 7: Tích hợp thông tin doanh nghiệp được mô tả ở trên. Ứng dụng cho các kịch bản ứng dụng liên quan đến sự kết hợp của các tùy chọn ở trên và hai loại được thảo luận chi tiết ở đây.

Tùy chọn 8a: Chuyển ứng dụng sang ứng dụng có tham chiếu chéo

Tùy chọn 8a là thích hợp khi công cụ EAI phải thực hiện tra cứu đơn giản trong khi truyền dữ liệu. Ví dụ: khi chuyển dữ liệu từ ứng dụng Bán hàng (X) sang ứng dụng Tài chính (Y), mã tài khoản hiện tại dựa trên loại giao dịch trong giao dịch Bán hàng phải được tra cứu và thêm vào giao dịch trong khi chuyển. Yêu cầu nghiệp vụ trong kịch bản này, được mô tả bằng đồ họa trong Hình 11, là chuyển dữ liệu từ ứng dụng X sang ứng dụng Y. Là một phần của quá trình chuyển giao này, phải có các thao tác được thực hiện trên dữ liệu yêu cầu các bảng tham chiếu chéo (như tra cứu mã và dịch thành các giá trị có ý nghĩa trong hệ thống đích). Trong khi chuyển EAI thời gian thực có thể ảnh hưởng đến việc chuyển dữ liệu từ ứng dụng X sang ứng dụng Y, chuyển ETL có thể được sử dụng để chuyển dữ liệu tham chiếu chéo từ các hệ thống này sang cấu trúc dữ liệu tham chiếu chéo (biểu diễn như XREF trong biểu đồ).

Lưu ý : Tùy chọn 5a: Trích xuất tệp có làm mới toàn bộ hoặc tùy chọn 5b: Trích xuất chương trình có làm mới đầy đủ cũng có thể được sử dụng để cập nhật bảng XREF.

Tùy chọn 8b: Chuyển ứng dụng sang ứng dụng với dữ liệu tĩnh

Tùy chọn 8b thể hiện tình huống mà dữ liệu từ ứng dụng X phải được tăng cường với dữ liệu từ ứng dụng Z trong khi chuyển sang ứng dụng Y. Ví dụ: giao dịch từ ứng dụng Bán hàng (X) phải được tăng thêm bởi dữ liệu chi phí sản phẩm từ ứng dụng Khoảng không quảng cáo (Z) ) trong khi chuyển vào đơn Tài chính (Y). Trong kịch bản này, được mô tả trong Hình 12,dữ liệu được chuyển từ ứng dụng X sang Y. Đồng thời, cập nhật ứng dụng Y cũng liên quan đến việc nhận dữ liệu khác từ các ứng dụng thứ cấp tĩnh hoặc ít nhất là tương đối tĩnh so với bản chất chuyển thời gian thực từ X sang Y. Tại đây, EAI được sử dụng để đạt được chuyển giao một số dữ liệu từ X sang Y. ETL được sử dụng để chuẩn bị và cung cấp dữ liệu bổ sung mà ứng dụng Y yêu cầu từ một ứng dụng thứ cấp (Z) vào ODS. EAI sau đó tìm nạp dữ liệu bổ sung từ ODS để điền ứng dụng Y.

Lưu ý : Bất kỳ tùy chọn nào trong 6 Lựa chọn 6: Chuyển khoản ETL / ELT qua Tùy chọn 7: Tích hợp thông tin doanh nghiệp có thể được sử dụng để cập nhật ODS.

Phân tích tùy chọn

Tùy chọn thích hợp nhất cho một môi trường dựa trên các yêu cầu truyền dữ liệu và các ràng buộc cụ thể cho môi trường đó. Có một số tiêu chí về thủ tục, kiến ​​trúc và tài chính phải được xem xét khi xác định lựa chọn phù hợp nhất cho môi trường. Phần này trình bày các tiêu chí chính cần được xem xét sau đó là xếp hạng của từng tùy chọn trong bối cảnh của các tiêu chí này. Mặc dù có thể có các tùy chọn hoặc kết hợp khác của các tùy chọn này như được thảo luận trong Kịch bản Hợp chất, phần này tập trung vào các tùy chọn cơ bản (từ 1 đến 6) được mô tả trước đó.

Đánh giá quy trình kinh doanh và tích hợp thông tin doanh nghiệp đã bị loại trừ khỏi phân tích vì chúng không thực sự liên quan đến việc chuyển dữ liệu. Các tiêu chí này có thể được phân loại thành Yêu cầu và Ràng buộc như trong Bảng 1 . Yêu cầu thường là kiến ​​trúc trong tự nhiên, thúc đẩy bởi nhu cầu kinh doanh. Các ràng buộc xác định các tham số trong đó giải pháp phải được kiến ​​trúc giữ cho nỗ lực thực hiện và bảo trì tổng thể trong đầu.

Hình 11. Chuyển giao A2A với tham chiếu chéo

Hình 12. Truyền A2A với dữ liệu tĩnh

Bảng 2 trình bày các đặc điểm của Phương án 1: Chuyển giao thời gian thực EAI thông qua Phương án 6: Chuyển giao ETL / ELT trong bối cảnh của các tiêu chí này. Xin lưu ý rằng Đánh giá quy trình nghiệp vụ và Phương án 7: Tích hợp thông tin doanh nghiệp chưa được phân tích trong Bảng 2 . Business Process Review là một sửa đổi cho các quy trình kinh doanh hiện tại có thể dẫn đến việc thực hiện bất kỳ một trong các tùy chọn khác. Tùy chọn 7: Tích hợp thông tin doanh nghiệp phải thực hiện với việc biểu diễn logic thông tin ở cấp doanh nghiệp. Bất kỳ một tùy chọn 1: EAI chuyển thời gian thực thông quaPhương án 6: Chuyển khoản ETL / ELT có thể được sử dụng kết hợp với mô hình EII.

Bảng 1. Tiêu chí đánh giá (nhấp vào đồ họa để phóng to)

Bảng 2. Đánh giá tùy chọn (nhấp vào đồ họa để phóng to)

Phần kết luận

Có nhiều cách tiếp cận có sẵn cho các doanh nghiệp để thực hiện chuyển dữ liệu giữa và giữa các ứng dụng kinh doanh của họ. Doanh nghiệp đầu tiên nên xem xét quy trình kinh doanh để xác nhận sự cần thiết của việc chuyển giao. Sau khi được xác nhận, có nhiều tùy chọn, được bật bằng công nghệ EAI và ETL, để thực hiện chuyển dữ liệu. Trong một số trường hợp, có thể cần phải kết hợp các tùy chọn để giải quyết các yêu cầu chuyển dữ liệu hoàn chỉnh trong một doanh nghiệp. Quá trình lái xe chuyển giao như vậy nên thiết lập công nghệ và công cụ được sử dụng hơn là có công nghệ xác định quy trình. Các doanh nghiệp lớn thường sử dụng một hỗn hợp tối ưu của cả ba chiến lược: Đánh giá quá trình kinh doanh,EAI và ETL. Tích hợp thông tin doanh nghiệpđang nổi lên như một lựa chọn khả thi khác trong không gian này. Tùy chọn đúng hoặc kết hợp các tùy chọn được sử dụng cho một kịch bản nhất định phụ thuộc vào một số tiêu chí, một số trong số đó là các yêu cầu điều khiển trong khi các tùy chọn khác là các ràng buộc. Bài viết này trình bày các tiêu chí quan trọng nhất để xem xét và cung cấp đánh giá của từng tùy chọn dựa trên các tiêu chí này.

Chú thích

1 Việc chia sẻ dữ liệu hiệu quả đòi hỏi một sự hiểu biết chung về ý nghĩa và cấu trúc của dữ liệu cho nhà cung cấp và người nhận. Siêu dữ liệu - dữ liệu về dữ liệu - là phương tiện để đạt được sự hiểu biết đó. Khi dữ liệu được chia sẻ hoặc chuyển giao vật lý giữa các bên, siêu dữ liệu cũng phải được trao đổi. Trách nhiệm của nhà thiết kế là đảm bảo siêu dữ liệu thích hợp được thu thập và chuyển giao trong tất cả các tình huống truyền dữ liệu. 
2 Một môi giới tích hợp là một thành phần định tuyến các thông điệp trao đổi giữa các ứng dụng. Nó tạo điều kiện cho việc chuyển giao các thông điệp có điều kiện giữa các ứng dụng dựa trên các quy tắc được xác định trước được thúc đẩy bởi logic nghiệp vụ và các yêu cầu đồng bộ hóa dữ liệu.

Giới thiệu về tác giả

EG Nadhan 
Hiệu trưởng, EDS 
Easwaran.Nadhan@eds.com
EG Nadhan là Hiệu trưởng với nhóm Tích hợp doanh nghiệp mở rộng EDS. Với hơn 20 năm kinh nghiệm trong ngành công nghiệp phần mềm, Nadhan chịu trách nhiệm cung cấp các giải pháp tích hợp EAI và B2B cho các khách hàng có quy mô lớn.

Jay-Louise Weldon 
Quản lý tư vấn, EDS 
Jaylouise.weldon@eds.com
Jay-Louise Weldon là một nhà tư vấn quản lý với nhóm dịch vụ tình báo kinh doanh của EDS. Jay-Louise có hơn 20 năm kinh nghiệm với các giải pháp kinh doanh thông minh và cơ sở dữ liệu và thiết kế hệ thống.

Lời cảm ơn đặc biệt: Các tác giả cảm ơn Carleen Christner, Quản lý tư vấn với nhóm Tích hợp doanh nghiệp mở rộng EDS để xem xét kỹ lưỡng bài báo và phản hồi mà cô đã cung cấp về nội dung và định dạng.
xem thêm