Bài đăng

Đang hiển thị bài đăng từ Tháng 7, 2018

The 10 Distributed SQL Query Engine for Big Data

This time i go with a blog called,  The 10 Distributed SQL Query Engine for Big Data  ! A Much Thank for your time, it’s truly appreciated ! Data…Data…Data…Yep, it’s every where starting from Software to Salt stores which is tagged as Big Data. But who is the friend who can help us to get the insights/values from the data in the distributed systems. If we take this list of  in the industry sure it’ll reach more than quarter pie(Am not a statistician, it’s all from my theory leanings and Industry followups). Here to go with the collection of 10 such as  Hive, Impala, HAWQ, IBM Big SQL, Drill, Tajo,  Pig, Presto,DryadLINQ, Jaql  and shared the findings to have bit’s of value for your journey in the big data anlaytics landscape. The SQL Lineage:  Edgar Frank “Ted” Codd  proposed a language called DSL/Alpha along with the relational model definition to manipulate the data in relational tables.  IBM formed a group to created a simplified version of DSL/Alpha that they called SQUARE.

FAST - Tư duy nhanh với phân hoạch xử lý

FAST là phương pháp phổ biến được sử dụng để giải quyết các bài toán bằng phương pháp quy nạp. Cá nhân mình nhận định, các bài toán trong cuộc sống thường được giải quyết bản năng bằng phương pháp này. "FAST" ở đây thực ra là tên các chữ cái lấy ra từ các bước trong phương pháp này trong tiếng anh. Các bước đó là: -Tìm giải pháp đầu tiên ( First Solution ) -Phân tích giải pháp đầu tiên vừa tìm ra ( Analyze the first solution ) -Tìm các đoạn lặp của chúng ( Identify the Subproblems ) -Chuyển về dạng của quy hoạch động( Turn the solution around ) Tìm giải pháp đầu tiên ( First Solution ) - Liệt kê các giải pháp giải quyết bài toán thành 1 danh sách. Các giải pháp được hình thành do cách tiếp cận vấn đề từ các hướng khác nhau. Trong trường hợp chủ thể không tìm được giải pháp nào, không có ý tưởng gì trong đầu thì việc tìm kiếm 1 ý tưởng quay lại bài toán xác định ý tưởng mà tôi đã đề cập tại bài trước . 1 loạt các hành động phải được thực hiện để hình thành 1 ho

Api Booking Engine or Reservation System.

tham khảo từ  https://developer.ean.com/ Thực thể Room: - id - availability: {standard | service_unavailable | unknown_internal_error} - cost: trọng số, sức chứa, giá - price_status: {matched|price_change|sold_out} - reservation_status: {pending|booked|canceled} - room_status: {standard | service_unavailable | internal_server_error | price_unavailable | price_mismatch | cc_declined | rooms_unavailable} Finite State Machine(FSM) nên sử dụng kết hợp để quản lí trạng thái Rooms. FSM nên là duy nhất, tách nghiệp vụ booking và hệ thống Rooms. Appointment Scheduling(option): accept real time booking. Dùng Scheduling kết hợp queue để điều tiết giao dịch booking, hạn chế lock khi có giao dịch đồng thời booking trên vùng rooms. Tham khảo thêm: ean api doc finite state machines Qloapps  : Fully Open Source Hotel Booking and Reservation System solidres  : Fully Open Source Software HotelDruid : Fully Open Source Software Jomres  : Fully Open Sourc

Mở rộng cơ sở dữ liệu

Tham khảo từ bài viết ngày 8 tháng 6 năm 2011 của Jeremiah Peschka Mở rộng hệ thống theo chiều dọc(tăng cường phần cứng, tối ưu code để sử dụng tối đa tài nguyên) là khó, mở rộng theo chiều ngang(triển khai thêm nhiều bản sao của các hệ thống con trên các server khác) thậm chí còn khó hơn. Mọi hệ thống thông tin đều phải duy trì mục tiêu là toàn vẹn( consistent ). DB, nơi lưu giữ trạng thái của ứng dụng, căn cơ của sự toàn ven trong hệ thống thông tin. Việc mở rộng hệ thống, phải bắt đầu với kế hoạch mở rộng DB. Chúng ta đều biết rằng chúng ta có thể mở rộng DB với việc mở rộng khả năng đọc bằng cách tăng thêm một số bản sao (hoặc bản sao chỉ đọc) của cơ sở dữ liệu. Tăng bản sao kết hợp với  sử dụng thêm một lớp bộ nhớ đệm( cache ) giúp giải quyết được việc mở rộng khả năng đọc. Nhưng điều gì sẽ xảy ra khi chúng ta phải mở rộng ghi? Xem xét ngữ cảnh của 1 siêu thị, một cơ sở dữ liệu có quy mô hiệu quả cho việc đọc sẽ giống như siêu thị có bãi đậu xe rộng rãi, lối đi rộng và đủ án