Thuật toán PaLM của Google: Tập trung vào khả năng tìm kiếm nâng cao

06/16/2022

Các nội dung chính

824

Google gần đây đã công bố một bước đột phá trong nỗ lực xây dựng một kiến trúc AI có khả năng xử lý hàng triệu tác vụ, bao gồm lý luận và học tập phức tạp. Hệ thống nổi tiếng này được gọi là Mô hình Con đường Ngôn ngữ (PaLM). Thuật toán PaLM của Google có thể vượt trội hơn so với AI hiện đại. Thậm chí nó còn đánh bại con người trong các bài kiểm tra lý luận và ngôn ngữ.

Tuy nhiên, các nhà nghiên cứu chỉ ra rằng các mô hình ngôn ngữ quy mô lớn có thể có những hạn chế mà có thể vô tình dẫn đến các kết quả tiêu cực về đạo đức.

Xem thêm:

Sơ lược thuật toán PALM của Google

Các phần này cung cấp thông tin cơ bản để giải thích thuật toán PaLM.

Học vài lần

Học vài lần là cấp độ tiếp theo của học tập ngoài học sâu. Hugo Larochelle, nhà nghiên cứu Bộ não của Google (@hugo_larochelle) gần đây đã có một bài thuyết trình với tựa đề Tổng quát hóa từ một vài ví dụ với Meta-Learning. Ông giải thích rằng học sâu rất khó vì nó cần thu thập một lượng lớn dữ liệu, đòi hỏi sức lao động đáng kể của con người.

Ông nói rằng học sâu không có khả năng dẫn đến một AI có khả năng giải quyết nhiều nhiệm vụ. Học sâu còn đòi hỏi hàng triệu triệu ví dụ để một AI có thể học hỏi từ mỗi nhiệm vụ.

Larochelle giải thích,

“Ý tưởng là tập trung vào việc học tập theo từng bước, khái quát hóa từ một lượng nhỏ dữ liệu.

Ý tưởng chính đằng sau những gì tôi sẽ trình bày rất đơn giản. Thay vì xác định thuật toán học đó là gì bằng N. Sau đó, sử dụng trực giác của chúng tôi để quyết định thuật toán tốt nhất cho việc học vài lần. Thay vào đó, chúng ta nên cố gắng học hoàn toàn thuật toán đó.

Đó là lý do tại sao chúng tôi gọi là học để học, hay tôi thích gọi nó là học meta.”

Cách tiếp cận ngắn gọn này cho thấy cách mọi người học và kết hợp các kiến thức khác nhau để giải quyết các vấn đề mới.

Một cỗ máy có thể sử dụng tất cả kiến thức để giải quyết các vấn đề mới là một lợi thế. Khả năng kể một câu chuyện cười mà thuật toán PaLM của Google chưa từng nghe thấy trước đây minh chứng cho khả năng này.

AI Pathways

Google đã xuất bản một bài báo vào tháng 10/2021 mô tả các mục tiêu của kiến trúc AI mới được gọi là Pathways. Lộ trình là một chương mới trong sự phát triển không ngừng của các hệ thống AI.

Một cách tiếp cận phổ biến là phát triển các thuật toán có thể được đào tạo để làm tốt một số việc nhất định. Phương pháp tiếp cận của Pathways đối với AI là tạo ra một mô hình AI có thể giải quyết tất cả các vấn đề. Đồng thời, nó thực hiện điều này bằng cách tìm hiểu cách chúng được giải quyết. Cùng với đó là cách tránh sử dụng hàng nghìn thuật toán không hiệu quả để hoàn thành hàng nghìn nhiệm vụ.

Theo tài liệu Pathways của Google về thuật toán PaLM:

Đây là cách một mô hình học được từ quá trình huấn luyện về một nhiệm vụ duy nhất. Ví dụ như cách ảnh hàng không có thể dự đoán độ cao trong phong cảnh. Nó cũng có thể học cách dự đoán nước lũ qua địa hình đó.

Các mô hình AI ngày nay thường được đào tạo để chỉ làm một việc. Các lộ trình sẽ cho phép chúng ta đào tạo một mô hình duy nhất để làm hàng trăm triệu việc.
Các mô hình ngày nay chủ yếu tập trung vào một ý nghĩa. Các con đường sẽ kích hoạt nhiều giác quan.
Các mô hình ngày nay dày đặc và không hiệu quả. Các lối mòn sẽ khiến chúng trở nên thưa thớt và hiệu quả.

Lộ trình vạch ra kế hoạch của Google cho sự phát triển của AI. Bên cạnh đó, nó cũng được thiết kế để thu hẹp khoảng cách giữa học máy và con người.

Mô hình mới của Google, Mô hình con đường ngôn ngữ (PaLM), đại diện cho bước tiếp theo này. Theo bài báo nghiên cứu này, thuật toán PaLM là một tiến bộ đáng kể trong AI.

Điều gì làm cho thuật toán PaLM của Google trở nên quan trọng

PaLM mở rộng quy mô học tập trong vài giây.

Theo tài liệu nghiên cứu PaLM,

“Các mô hình ngôn ngữ lớn đã được chứng minh là hoạt động tốt trong nhiều nhiệm vụ với ngôn ngữ tự nhiên. Điều này là do học vài lần, làm giảm đáng kể số lượng các ví dụ cụ thể về nhiệm vụ cần thiết để điều chỉnh mô hình cho một ứng dụng cụ thể.

Chúng tôi đã đào tạo mô hình ngôn ngữ Transformer được kích hoạt với mật độ 540 tỷ tham số. Để từ đây có thể tìm hiểu thêm về tác động của quy mô đối với việc học vài lần. Mô hình này bây giờ được gọi là PaLM.

Nhiều bài báo nghiên cứu đã được xuất bản mô tả các thuật toán không tốt hơn so với hiện tại hoặc chỉ cho thấy những cải tiến gia tăng.

Thuật toán PaLM không phải là một trong những mô hình này. Các nhà nghiên cứu khẳng định rằng PaLM có những cải tiến đáng kể so với các mô hình hiện tại. Hay thậm chí là PaLM thậm chí còn vượt qua các tiêu chuẩn của con người. Do đó, thuật toán này rất đáng chú ý vì sự thành công của nó.

Các nhà nghiên cứu viết:

“Chúng tôi tiếp tục cho thấy những lợi ích của việc mở rộng quy mô của thuật toán này. Chúng tôi kiểm tra bằng cách đạt được kết quả học tập ngắn hạn hiện đại trên hàng trăm điểm chuẩn hiểu ngôn ngữ và thế hệ.

Trong một số nhiệm vụ, PaLM 540B đạt được hiệu suất đáng kể. Nó hoạt động tốt hơn công nghệ tiên tiến hiện tại trong các tác vụ suy luận nhiều bước. Bên cạnh đó, hoạt động vượt trội hơn hiệu suất trung bình của con người. Tất cả được đo lường bằng cách sử dụng điểm chuẩn BIG-bench mới được phát hành.

Nhiều nhiệm vụ quan trọng đã cho thấy những cải thiện đáng kể về hiệu suất khi chúng tôi mở rộng quy mô lên mô hình lớn nhất.”

Thuật toán PaLM vượt trội hơn so với hiện tại cho các tác vụ xử lý ngôn ngữ tự nhiên tiếng Anh. Do đó, tính năng này đã làm cho PaLM trở nên quan trọng.

Một điểm chuẩn cộng tác được gọi là BIG bench

Tính năng này bao gồm hơn 150 nhiệm vụ liên quan đến suy luận, dịch thuật và trả lời câu hỏi. Tất cả đã cho thấy thuật toán PaLM hoạt động tốt hơn so với thuật toán tiên tiến nhất. Tuy nhiên, có một số lĩnh vực hoạt động không tốt.

Điều đáng chú ý là thuật toán PaLM thực hiện tốt hơn con người 35% các tác vụ. Đặc biệt hơn là các tác vụ liên quan đến toán học.

Thuật toán PaLM đã làm tốt hơn việc dịch từ một ngôn ngữ khác sang tiếng Anh so với dịch tiếng Anh sang các ngôn ngữ khác. Các nhà nghiên cứu tuyên bố rằng đây là một vấn đề phổ biến khi phát triển thuật toán. Tuy nhiên, vấn đề này có thể được giải quyết bằng cách ưu tiên dữ liệu đa ngôn ngữ.

Tuy nhiên, thuật toán PaLM hoạt động tốt hơn tất cả các mô hình ngôn ngữ khác.

Khả năng suy luận

Nó đặc biệt đáng chú ý vì hiệu suất của nó trong các nhiệm vụ số học và lý luận thông thường.

Một ví dụ về một nhiệm vụ số học

Câu hỏi:

John sở hữu năm quả bóng tennis và mua thêm hai lon bóng tennis. Mỗi lon chứa ba quả bóng tennis. Hiện anh ta có số quả bóng tennis là bao nhiêu?

Câu trả lời:

Câu trả lời cho câu hỏi đó là 11.

Tạo giải thích

Một ví dụ đáng chú ý về sức mạnh của PaLM trong việc tạo ra các giải thích. Đây là những gì bài báo nghiên cứu giải thích.

“Phần này nhằm mục đích chứng minh các khả năng của PaLM trong việc tạo ngôn ngữ giải thích. Đối với những lời nhắc đòi hỏi sự kết hợp phức tạp giữa hiểu ngôn ngữ logic và trừu tượng, chuỗi suy luận logic, kiến thức thế giới và hiểu ngôn ngữ từ vựng (ví dụ: chơi chữ).”

Công cụ tìm kiếm thế hệ tiếp theo?

Khả năng thực hiện suy luận phức tạp của PaLM cho thấy cách một công cụ tìm kiếm thế hệ tiếp theo có thể trả lời các câu hỏi phức tạp bằng cách sử dụng kiến thức từ Internet.

Google Pathways và PaLM đang nỗ lực hướng tới việc đạt được kiến trúc AI có thể cung cấp câu trả lời phản ánh thế giới xung quanh họ.

Các nhà nghiên cứu nhấn mạnh rằng PaLM không phải là giải pháp cuối cùng cho AI và tìm kiếm. paLM chỉ là bước đầu tiên hướng tới loại công cụ tìm kiếm tiếp theo mà Pathways hình dung.

Để hiểu PaLM, trước tiên chúng ta cần hiểu hai thuật ngữ, biệt ngữ

Phương thức
Khái quát

Phương thức là một tài liệu tham khảo về cách mọi thứ được trải nghiệm. Nó đề cập đến trạng thái của mọi thứ. Có thể kể đến như văn bản được đọc, hình ảnh được xem hoặc âm thanh được nghe.

Trong học máy, từ khái quát đề cập đến khả năng của người lập mô hình ngôn ngữ. Để từ đây có thể giải quyết các nhiệm vụ mới mà người đó chưa được đào tạo trước đó.

Các nhà nghiên cứu lưu ý rằng

“PaLM” chỉ là một bước trong tầm nhìn của chúng tôi nhằm thiết lập Pathways là tương lai cho việc mở rộng ML tại Google. Chúng tôi tin rằng PaLM cung cấp một nền tảng vững chắc cho mục tiêu cuối cùng của chúng tôi. Đó là phát triển một hệ thống được mô-đun hóa quy mô lớn với khả năng tổng quát hóa rộng rãi trên nhiều phương thức.”

Những cân nhắc về đạo đức và những lo ngại trong thế giới thực

Các nhà nghiên cứu thận trọng về các cân nhắc đạo đức trong bài nghiên cứu này. Họ cho rằng các mô hình ngôn ngữ quy mô lớn dựa trên dữ liệu web hấp thụ nhiều định kiến “độc hại”. Hay thậm chí họ còn suy nghĩ đến sự chênh lệch xã hội và các ảnh hưởng không mong muốn khác.

Bài báo nghiên cứu này đề cập đến một bài báo được xuất bản vào năm 2021. Cùng với đó là khám phá cách chúng ta có thể sử dụng các mô hình ngôn ngữ quy mô lớn để thúc đẩy những tác hại sau:

Phân biệt đối xử, loại trừ và độc tính
Thông tin nguy hiểm
Thông tin sai lệch tác hại
Sử dụng độc hại
Tác hại của tương tác người-máy tính
Tiếp cận, tự động hóa và tác hại môi trường

Cuối cùng, các nhà nghiên cứu chỉ ra rằng PaLM thực sự phản ánh những định kiến xã hội độc hại. Điều này cho thấy rõ ràng rằng việc lọc những thành kiến này có thể khó khăn.

Các nhà nghiên cứu PaLM giải thích

“Phân tích của chúng tôi cho thấy dữ liệu đào tạo và PaLM của chúng tôi phản ánh nhiều định kiến xã hội khác nhau. Cùng với đó là các tình huống độc hại xung quanh các thuật ngữ danh tính.

Không dễ để loại bỏ các liên tưởng này. Công việc trong tương lai nên tập trung vào việc đối phó hiệu quả với những thành kiến bất lợi như vậy trong dữ liệu. Cùng với đó là các tác động của chúng đến hành vi của mô hình.

Trong khi điều này đang diễn ra, người dùng PaLM trong thế giới thực nên tiến hành các đánh giá công bằng theo ngữ cảnh hơn nữa. Để từ đây xác định các tác hại tiềm ẩn và đưa ra các biện pháp giảm thiểu và bảo vệ thích hợp”.

PaLM là một cái nhìn thoáng qua về tương lai của tìm kiếm. PaLM tuyên bố là tốt nhất trong những gì nó làm. Nhưng các nhà nghiên cứu tuyên bố rằng cần nghiên cứu thêm để tìm ra cách giảm thông tin sai lệch và định kiến độc hại.

Các tính năng chính của thuật toán PaLM của Google

Mở rộng quy mô hiệu quả

PaLM có thể chứng minh việc sử dụng Pathways trên quy mô lớn đầu tiên. Đây là một hệ thống ML mới cho phép đào tạo một mô hình duy nhất trên hàng trăm hoặc hàng triệu chip gia tốc một cách hiệu quả cao.

Tiếp tục cải tiến từ việc mở rộng quy mô

Các nhà nghiên cứu PaLM đánh giá PaLM qua hàng nghìn nhiệm vụ lập luận toán học, mã và ngôn ngữ tự nhiên. Các nhà nghiên cứu PaLM đạt được kết quả hiện đại trên hầu hết các điểm chuẩn này. Thông thường là nhờ đến lợi nhuận đáng kể.

Khả năng đột phá

Các nhà nghiên cứu PaLM chứng minh khả năng đột phá trong việc hiểu và tạo ngôn ngữ trong các nhiệm vụ khó khăn khác nhau.

Các cải tiến không liên tục

Để hiểu rõ hơn về hành vi mở rộng quy mô, các nhà nghiên cứu PaLM trình bày kết quả ở ba thang tham số khác nhau. Chúng là 8B, 62B và 540B. Thông thường, mở rộng từ 62B đến 540B dẫn đến hiệu suất tương tự như mở rộng từ 8B đến 62B. Nó phù hợp với quy tắc ngón tay cái “luật sức mạnh” thường được quan sát trong quy mô mạng nơ-ron.

Hiểu biết đa ngôn ngữ

Công việc này tiến hành đánh giá kỹ lưỡng hơn các điểm chuẩn đa ngôn ngữ. Chúng bao gồm dịch máy, tóm tắt và trả lời câu hỏi bằng các ngôn ngữ khác nhau.

Độ chệch và độc tính

Nhóm nghiên cứu cũng đánh giá hiệu suất của mô hình đối với độ chệch phân phối và độc tính. Cuối cùng, điều này dẫn đến một số thông tin chi tiết về chất lượng.

Adsplus.vn

Cảm ơn bạn đã xem bài viết này. Hãy cập nhật thêm các bài viết từ Adsplus để biết thêm những thông tin mới nhất về Google. Và các Tips chạy quảng cáo hiệu quả.

Tham khảo các khóa học Google Ads, Facebook Ads tại guru.edu.vn
Tham khảo các gói setup tài khoản quảng cáo Google Ads, Facebook Ads tại 1ad.vn