Google LaMDA tham gia cùng với BERT và MUM trong việc giúp công nghệ máy móc hiểu rõ hơn về ý định của người dùng. Cùng tìm hiểu rõ hơn về cách nó hoạt động và ý nghĩa đối với SEO.
Google tạo ra một mô hình ngôn ngữ không phải là điều gì đó mới mẻ; trên thực tế, Google LaMDA kết hợp với BERT và MUM như một cách để giúp máy móc hiểu rõ hơn ý định của người dùng.
Google đã nghiên cứu các mô hình dựa trên ngôn ngữ trong vài năm với hy vọng đào tạo ra một mô hình về cơ bản có thể tổ chức một cuộc trò chuyện sâu sắc và hợp lý về bất kỳ chủ đề nào.
Cho đến nay, Google LaMDA dường như là một bản triển khai gần nhất đạt được cột mốc này.
Google LaMDA là gì?
LaMDA, viết tắt của Language Models for Dialog Application, được tạo ra để cho phép phần mềm tham gia tốt hơn vào một cuộc trò chuyện trôi chảy và tự nhiên.
LaMDA dựa trên kiến trúc Transformer giống như các mô hình ngôn ngữ khác như BERT và GPT-3.
Tuy nhiên, do được đào tạo, LaMDA có thể hiểu các câu hỏi và hội thoại có sắc thái về một số chủ đề khác nhau.
Với các mô hình khác, do tính chất mở của các cuộc trò chuyện, bạn có thể nói về một điều gì đó hoàn toàn khác, mặc dù ban đầu chỉ tập trung vào một chủ đề duy nhất.
Hành vi này có thể dễ dàng nhầm lẫn giữa các mô hình trò chuyện và chatbot.
Trong thông báo về Google I / O năm ngoái, chúng tôi thấy rằng LaMDA đã được xây dựng để khắc phục những vấn đề này.
-
Mô hình ngôn ngữ
LaMDA là một mô hình ngôn ngữ. Trong xử lý ngôn ngữ tự nhiên, một mô hình ngôn ngữ phân tích việc sử dụng ngôn ngữ.
Về cơ bản, đó là một hàm toán học (hoặc một công cụ thống kê) mô tả một kết quả có thể xảy ra liên quan đến việc dự đoán các từ tiếp theo trong một chuỗi.
Nó cũng có thể dự đoán sự xuất hiện của từ tiếp theo và thậm chí trình tự của các đoạn văn sau đây có thể là gì.
Trình tạo ngôn ngữ OpenAI’s GPT-3 là một ví dụ về mô hình ngôn ngữ.
Với GPT-3, bạn có thể nhập chủ đề và hướng dẫn để viết theo phong cách của một tác giả cụ thể và nó sẽ tạo ra một câu chuyện hoặc bài luận ngắn chẳng hạn.
LaMDA khác với các mô hình ngôn ngữ khác vì nó được đào tạo dựa trên đối thoại chứ không phải văn bản.
Vì GPT-3 tập trung vào việc tạo ra văn bản ngôn ngữ, LaMDA tập trung vào việc tạo ra các đoạn hội thoại.
-
Tại sao đó là một đột phá lớn
Điều làm cho LaMDA trở thành một bước đột phá đáng chú ý là nó có thể tạo ra cuộc trò chuyện theo cách tự do mà các thông số của phản hồi dựa trên nhiệm vụ không bị hạn chế.
Một mô hình ngôn ngữ hội thoại phải hiểu những thứ như ý định của người dùng Đa phương thức, học tăng cường và các đề xuất để cuộc hội thoại có thể chuyển đổi giữa các chủ đề không liên quan.
-
Được xây dựng trên công nghệ Transformer
Tương tự như các mô hình ngôn ngữ khác (như MUM và GPT-3), LaMDA được xây dựng dựa trên kiến trúc mạng nơ ron Transformer để hiểu ngôn ngữ.
Google viết về Transformer:
“Kiến trúc đó tạo ra một mô hình có thể được huấn luyện để đọc nhiều từ (một câu hoặc đoạn văn chẳng hạn), chú ý đến cách những từ đó liên quan với nhau và sau đó dự đoán những từ nó nghĩ sẽ xuất hiện tiếp theo.”
LaMDA hoạt động như thế nào?
LaMDA được xây dựng trên mạng nơ-ron open-source của Google, Transformer, được sử dụng để hiểu ngôn ngữ tự nhiên.
Các Model được đào tạo để tìm các mẫu trong câu, mối tương quan giữa các từ khác nhau được sử dụng trong các câu đó và thậm chí dự đoán từ có khả năng xuất hiện tiếp theo.
Nó thực hiện điều này bằng cách nghiên cứu các tập dữ liệu bao gồm các đoạn hội thoại thay vì chỉ các từ riêng lẻ.
Trong khi hệ thống AI đàm thoại tương tự như phần mềm chatbot, nhưng sẽ có một số điểm khác biệt chính giữa hai hệ thống này.
Ví dụ: chatbots được đào tạo trên các bộ dữ liệu cụ thể, hạn chế và chỉ có thể có một cuộc trò chuyện hạn chế dựa trên dữ liệu và các câu hỏi chính xác mà nó được đào tạo.
Trong khi đó, LaMDA được đào tạo trên nhiều bộ dữ liệu khác nhau nên nó có thể có các cuộc hội thoại mở.
Trong quá trình đào tạo, nó tiếp thu các sắc thái của cuộc đối thoại kết thúc mở và điều chỉnh.
Nó có thể trả lời các câu hỏi về nhiều chủ đề khác nhau, tùy thuộc vào dòng chảy của cuộc trò chuyện.
Do đó, nó cho phép các cuộc trò chuyện thậm chí còn giống với tương tác của con người hơn những gì chatbot thường có thể cung cấp.
LaMDA được đào tạo như thế nào?
Google giải thích rằng LaMDA có một quá trình đào tạo hai giai đoạn, bao gồm đào tạo trước và tinh chỉnh.
Tổng cộng, mô hình được đào tạo trên 1,56 nghìn tỷ từ với 137 tỷ thông số.
Tập huấn trước
Đối với giai đoạn đào tạo trước, nhóm tại Google đã tạo tập dữ liệu 1,56T từ từ nhiều tài liệu web công khai.
Tập dữ liệu này sau đó được mã hóa (biến thành một chuỗi ký tự để tạo câu) thành các mã thông báo 2,81T, trên đó mô hình được đào tạo ban đầu.
Trong quá trình đào tạo trước, mô hình sử dụng song song chung và có thể mở rộng để dự đoán phần tiếp theo của cuộc trò chuyện dựa trên các mã thông báo trước đó mà nó đã thấy.
Tinh chỉnh
LaMDA được đào tạo để thực hiện các nhiệm vụ tạo và phân loại trong giai đoạn tinh chỉnh.
Về cơ bản, trình tạo LaMDA, dự đoán phần tiếp theo của cuộc đối thoại, tạo ra một số phản hồi có liên quan dựa trên cuộc trò chuyện qua lại.
Sau đó, bộ phân loại LaMDA sẽ dự đoán điểm an toàn và chất lượng cho mỗi phản ứng có thể xảy ra.
Bất kỳ phản hồi nào có điểm an toàn thấp đều được lọc ra trước khi phản hồi có điểm cao nhất được chọn để tiếp tục cuộc trò chuyện.
Điểm số dựa trên độ an toàn, độ nhạy, độ cụ thể và tỷ lệ phần trăm thú vị.
Mục tiêu là đảm bảo cung cấp phản hồi phù hợp nhất, chất lượng cao và cuối cùng là an toàn nhất.
Các mục tiêu và chỉ số chính của LaMDA
Ba mục tiêu chính của mô hình đã được xác định để định hướng cho việc đào tạo của mô hình.
- Phẩm chất
- Sự an toàn
- Nền tảng
Phẩm chất
Bản thân chỉ số chất lượng bao gồm ba chỉ số:
- Nhạy cảm
- Tính đặc hiệu
- Sự thú vị
Bài báo nghiên cứu nêu rõ:
“Chúng tôi thu thập dữ liệu có chú thích mô tả mức độ hợp lý, cụ thể và thú vị của một phản hồi đối với bối cảnh nhiều lượt. Sau đó, chúng tôi sử dụng các chú thích này để tinh chỉnh một dấu hiệu phân biệt nhằm xếp hạng lại các câu trả lời của ứng viên ”.
Sự an toàn
Các nhà nghiên cứu của Google đã sử dụng các nhân viên đám đông có nguồn gốc khác nhau để giúp gắn nhãn các phản hồi khi chúng không an toàn.
Dữ liệu được gắn nhãn đó đã được sử dụng để đào tạo LaMDA:
“Sau đó, chúng tôi sử dụng các nhãn này để tinh chỉnh bộ phân biệt nhằm phát hiện và loại bỏ các phản hồi không an toàn.”
Nền tảng
Nền tảng là một quá trình đào tạo để dạy LaMDA nghiên cứu về giá trị thực tế, có nghĩa là câu trả lời có thể được xác minh thông qua “các nguồn đã biết”.
Điều đó rất quan trọng vì theo bài nghiên cứu, các mô hình ngôn ngữ thần kinh tạo ra các tuyên bố có vẻ đúng, nhưng thực tế không chính xác và thiếu sự hỗ trợ từ các dữ kiện từ các nguồn thông tin đã biết.
Các nhân viên đám đông của con người đã sử dụng các công cụ như công cụ tìm kiếm (hệ thống truy xuất thông tin) để xác minh các câu trả lời xác thực để AI cũng có thể học cách làm điều đó.
Các nhà nghiên cứu viết:
“Chúng tôi nhận thấy rằng việc tăng cường kết quả đầu ra của mô hình với khả năng sử dụng các công cụ bên ngoài, chẳng hạn như hệ thống truy xuất thông tin, là một cách tiếp cận đầy hứa hẹn để đạt được mục tiêu này.
Do đó, chúng tôi thu thập dữ liệu từ một bối cảnh nơi nhân viên cộng đồng có thể sử dụng các công cụ bên ngoài để nghiên cứu các tuyên bố thực tế và đào tạo mô hình để bắt chước hành vi của họ ”.
Sự đánh giá
Thông qua một quá trình liên tục định lượng tiến độ, các phản hồi từ mô hình được đào tạo trước, mô hình đã được tinh chỉnh và người đánh giá là con người, sẽ được xem xét để đánh giá các phản hồi dựa trên các chỉ số về chất lượng, an toàn và cơ sở đã nói ở trên.
Cho đến nay, họ đã có thể kết luận rằng:
- Các chỉ số chất lượng được cải thiện theo số lượng các tham số.
- Sự an toàn được cải thiện với sự tinh chỉnh.
- Khả năng tiếp nhận được cải thiện khi kích thước mô hình tăng lên.
LaMDA sẽ được sử dụng như thế nào?
Mặc dù vẫn đang trong quá trình hoàn thiện và chưa có ngày phát hành cuối cùng, nhưng người ta dự đoán rằng LaMDA sẽ được sử dụng trong tương lai để cải thiện trải nghiệm của khách hàng và cho phép chatbots cung cấp một cuộc trò chuyện giống con người hơn.
Ngoài ra, việc sử dụng LaMBDA để điều hướng tìm kiếm trong công cụ tìm kiếm của Google là một khả năng thực sự.
Ý nghĩa của LaMDA đối với SEO
Bằng cách tập trung vào các mô hình ngôn ngữ và hội thoại, Google cung cấp thông tin chi tiết về tầm nhìn của họ đối với tương lai của lĩnh vực tìm kiếm và nhấn mạnh sự thay đổi về cách phát triển sản phẩm của họ.
Điều này cuối cùng có nghĩa là có thể có sự thay đổi trong hành vi tìm kiếm và cách người dùng tìm kiếm sản phẩm hoặc thông tin.
Google không ngừng nỗ lực cải thiện sự hiểu biết về mục đích tìm kiếm của người dùng để đảm bảo họ nhận được kết quả hữu ích và phù hợp nhất trong SERP.
Không nghi ngờ gì, mô hình LaMDA sẽ là một công cụ quan trọng để hiểu những câu hỏi mà người tìm kiếm có thể đang hỏi.
Điều này càng làm nổi bật sự cần thiết phải đảm bảo nội dung được tối ưu hóa cho con người thay vì các công cụ tìm kiếm.
Đảm bảo nội dung có tính trò chuyện và được viết với đối tượng mục tiêu của bạn có nghĩa là ngay cả khi Google tiến bộ, nội dung vẫn có thể tiếp tục hoạt động tốt.
Nó cũng là chìa khóa để thường xuyên làm mới nội dung mới để đảm bảo nội dung đó phát triển theo thời gian và vẫn phù hợp.
Trong một bài báo có tiêu đề Suy nghĩ lại về Tìm kiếm: Làm cho các chuyên gia từ Dilettantes, các kỹ sư nghiên cứu từ Google đã chia sẻ cách họ dự đoán những tiến bộ của AI như LaMDA sẽ nâng cao hơn nữa “tìm kiếm như một cuộc trò chuyện với các chuyên gia”.
Họ đã chia sẻ một ví dụ xung quanh câu hỏi tìm kiếm, “Rượu vang đỏ có những lợi ích và rủi ro nào đối với sức khỏe?”
Hiện tại, Google sẽ hiển thị danh sách hộp câu trả lời gồm các gạch đầu dòng là câu trả lời cho câu hỏi này.
Tuy nhiên, họ gợi ý rằng trong tương lai, một phản hồi có thể là một đoạn văn giải thích những lợi ích và rủi ro của rượu vang đỏ, với các liên kết đến thông tin nguồn.
Do đó, việc đảm bảo nội dung được sao lưu bởi các nguồn chuyên gia sẽ quan trọng hơn bao giờ hết nếu Google LaMDA tạo kết quả tìm kiếm trong tương lai.
Thử thách
Như với bất kỳ mô hình AI nào, có những thách thức cần giải quyết.
Hai thách thức chính mà các kỹ sư phải đối mặt với Google LaMDA là tính an toàn và tính nền tảng.
An toàn – Tránh thiên vị
Vì bạn có thể lấy câu trả lời từ bất kỳ đâu trên web, nên có khả năng kết quả đầu ra sẽ khuếch đại thành kiến, phản ánh các quan niệm được chia sẻ trực tuyến.
Điều quan trọng là trách nhiệm đặt lên hàng đầu với Google LaMDA để đảm bảo nó không tạo ra các kết quả không thể đoán trước hoặc có hại.
Để giúp khắc phục điều này, Google đã tạo nguồn mở các tài nguyên được sử dụng để phân tích và đào tạo dữ liệu.
Điều này cho phép các nhóm khác nhau tham gia vào việc tạo bộ dữ liệu được sử dụng để đào tạo mô hình, giúp xác định sự thiên vị hiện có và giảm thiểu mọi thông tin có hại hoặc gây hiểu lầm bị chia sẻ.
Cơ sở thực tế
Không dễ để xác thực độ tin cậy của các câu trả lời mà các mô hình AI tạo ra, vì các nguồn được thu thập từ khắp nơi trên web.
Để vượt qua thách thức này, nhóm cho phép mô hình tham khảo ý kiến từ nhiều nguồn bên ngoài, bao gồm hệ thống truy xuất thông tin và thậm chí cả máy tính, để cung cấp kết quả chính xác.
Chỉ số Cơ sở được chia sẻ trước đó cũng đảm bảo các câu trả lời dựa trên các nguồn đã biết. Các nguồn này được chia sẻ để cho phép người dùng xác nhận các kết quả được đưa ra và ngăn chặn việc phát tán thông tin sai lệch.
Google LaMDA là tương lai của Google?
Google rõ ràng rằng có những lợi ích và rủi ro đối với các mô hình hộp thoại kết thúc mở như LaMDA và cam kết cải thiện tính an toàn và cơ sở để đảm bảo trải nghiệm đáng tin cậy và không thiên vị.
Đào tạo các mô hình LaMDA trên các dữ liệu khác nhau, bao gồm cả hình ảnh hoặc video, là một điều khác mà chúng ta có thể thấy trong tương lai.
Điều này mở ra khả năng điều hướng nhiều hơn trên web, bằng cách sử dụng lời nhắc trò chuyện.
Giám đốc điều hành Sundar Pichai của Google nói về LaMDA, “Chúng tôi tin rằng khả năng trò chuyện của LaMDA có tiềm năng làm cho thông tin và máy tính hoàn toàn dễ tiếp cận và dễ sử dụng hơn”.
Mặc dù ngày triển khai vẫn chưa được xác nhận, nhưng chắc chắn các mô hình như LaMDA sẽ là tương lai của Google.