Các nhà nghiên cứu Google DeepMind đã giới thiệu BlockRank, một phương pháp xếp hạng mới dựa trên AI, giúp cải thiện cách các mô hình ngôn ngữ lớn xử lý và xếp hạng kết quả tìm kiếm. Phương pháp này giúp tăng hiệu quả, giảm chi phí điện toán và có thể giúp các công cụ tìm kiếm ngữ nghĩa tiên tiến dễ tiếp cận hơn với các tổ chức và cá nhân nhỏ hơn.
Một bài nghiên cứu mới từ Google DeepMind đề xuất một phương pháp xếp hạng tìm kiếm có thể định hình lại cách thức thông tin được tổ chức và truy xuất trực tuyến.
Hệ thống có tên BlockRank, được xây dựng dựa trên kỹ thuật được gọi là In-Context Ranking (Xếp hạng theo ngữ cảnh) và cung cấp phương pháp nhanh hơn, hiệu quả hơn để các mô hình ngôn ngữ lớn (LLM) quyết định tài liệu nào có liên quan nhất đến truy vấn.
Các nhà nghiên cứu kết luận rằng thuật toán này “có thể dân chủ hóa quyền truy cập vào các công cụ khám phá thông tin mạnh mẽ“.
Hiểu về xếp hạng trong ngữ cảnh (ICR)
Để hiểu được BlockRank thay đổi như thế nào, bạn cần hiểu những gì đã xảy ra trước đó.
Xếp hạng theo ngữ cảnh là phương pháp trong đó một mô hình ngôn ngữ lớn xếp hạng các trang web hoặc đoạn văn không dựa trên các quy tắc được lập trình sẵn mà dựa trên sự hiểu biết dựa trên ngữ cảnh. Mô hình được gợi ý bởi ba thành phần chính:
- Hướng dẫn thực hiện nhiệm vụ (ví dụ: “Xếp hạng các trang web này”)
- Hồ sơ ứng viên (các trang để đánh giá)
- Bản thân truy vấn tìm kiếm
Khi sử dụng thiết lập này, mô hình sẽ áp dụng hiểu biết nội bộ về ngôn ngữ để xác định tài liệu nào có liên quan nhất đến truy vấn.
Phương pháp này lần đầu tiên được khám phá trong một nghiên cứu năm 2024 có tựa đề ” Liệu các mô hình ngôn ngữ ngữ cảnh dài có thể bao gồm Retrieval, RAG, SQL và nhiều hơn nữa không?” của các nhà nghiên cứu từ Google DeepMind và Google Research. Nghiên cứu trước đó cho thấy ICR có thể sánh ngang với hiệu suất của các hệ thống truy xuất truyền thống được xây dựng chuyên biệt cho tìm kiếm.
Tuy nhiên, vấn đề nằm ở quy mô.
Khi thêm nhiều tài liệu hơn, chi phí tính toán tăng theo cấp số nhân. Mỗi từ trong mỗi tài liệu phải được so sánh với từng từ khác, một quá trình trở nên chậm chạp và tốn kém khi xử lý các tập dữ liệu lớn.
BlockRank được phát triển để tập trung và mục tiêu chính là giải quyết vấn đề đó.
BlockRank được phát triển như thế nào
Các nhà nghiên cứu đã kiểm tra cách mô hình thực sự sử dụng sự chú ý trong quá trình Truy xuất theo ngữ cảnh và tìm thấy hai mô hình:
Độ thưa khối giữa các tài liệu:
Các nhà nghiên cứu nhận thấy rằng khi mô hình đọc một nhóm tài liệu, nó có xu hướng tập trung chủ yếu vào từng tài liệu riêng biệt thay vì so sánh tất cả chúng với nhau. Họ gọi đây là “độ thưa khối”, nghĩa là có rất ít sự so sánh trực tiếp giữa các tài liệu khác nhau.
Dựa trên nhận thức này, họ đã thay đổi cách mô hình đọc dữ liệu đầu vào để nó tự xem xét từng tài liệu nhưng vẫn so sánh tất cả chúng với câu hỏi đang được hỏi. Điều này giữ lại phần quan trọng, khớp các tài liệu với truy vấn, đồng thời bỏ qua các so sánh không cần thiết giữa các tài liệu. Kết quả là một hệ thống chạy nhanh hơn nhiều mà không làm giảm độ chính xác.
Sự liên quan giữa khối truy vấn và tài liệu:
Khi LLM đọc truy vấn, nó không coi mọi từ trong câu hỏi đều quan trọng như nhau. Một số phần của câu hỏi, chẳng hạn như các từ khóa cụ thể hoặc dấu câu thể hiện ý định, giúp mô hình quyết định tài liệu nào đáng được chú ý hơn.
Các nhà nghiên cứu nhận thấy rằng các mẫu chú ý nội tại của mô hình, đặc biệt là cách một số từ nhất định trong truy vấn tập trung vào các tài liệu cụ thể, thường phù hợp với các tài liệu nào có liên quan. Hành vi này, được họ gọi là “sự liên quan giữa khối truy vấn và tài liệu“, đã trở thành một yếu tố mà các nhà nghiên cứu có thể huấn luyện mô hình để sử dụng hiệu quả hơn.
Các nhà nghiên cứu đã xác định được hai mô hình chú ý này và sau đó thiết kế một phương pháp tiếp cận mới dựa trên những gì họ đã học được.
Mô hình đầu tiên, độ thưa của khối liên tài liệu, cho thấy mô hình đang lãng phí tính toán bằng cách so sánh các tài liệu với nhau khi thông tin đó không hữu ích.
Mô hình thứ hai, độ liên quan của khối truy vấn tài liệu, cho thấy một số phần nhất định của câu hỏi đã chỉ đến đúng tài liệu.
Dựa trên những hiểu biết sâu sắc này, họ đã thiết kế lại cách mô hình xử lý sự chú ý và cách nó được huấn luyện. Kết quả là BlockRank, một hình thức Truy xuất Trong Ngữ cảnh hiệu quả hơn, loại bỏ các so sánh không cần thiết và dạy mô hình tập trung vào những gì thực sự báo hiệu sự liên quan.
Đánh giá độ chính xác của BlockRank
Để kiểm tra hệ thống của mình, các nhà nghiên cứu đã chạy BlockRank so với ba tiêu chuẩn chính được sử dụng rộng rãi trong nghiên cứu truy xuất thông tin:
- BEIR: Một tập hợp lớn các nhiệm vụ tìm kiếm và trả lời câu hỏi nhằm đánh giá mức độ các mô hình có thể tìm thấy và xếp hạng các tài liệu có liên quan trên nhiều chủ đề khác nhau.
- MS MARCO: Một tập dữ liệu các truy vấn tìm kiếm và đoạn văn thực tế của Bing, thường được sử dụng để kiểm tra độ chính xác của các hệ thống xếp hạng câu trả lời cho câu hỏi của người dùng.
- Câu hỏi tự nhiên (NQ): Được xây dựng dựa trên các truy vấn tìm kiếm thực tế trên Google, tiêu chuẩn này đánh giá xem hệ thống có thể tìm thấy các đoạn văn từ Wikipedia trả lời đúng câu hỏi hay không.
Nhóm DeepMind đã sử dụng mô hình ngôn ngữ lớn Mistral với 7 tỷ tham số và so sánh BlockRank với một số hệ thống xếp hạng hiệu suất cao khác, bao gồm FIRST, RankZephyr, RankVicuna và đường cơ sở Mistral được tinh chỉnh hoàn toàn.
Trong các bài kiểm tra này, BlockRank hoạt động tốt hoặc tốt hơn các mô hình cạnh tranh. Nó ngang bằng về hiệu suất trên MS MARCO và Natural Questions và vượt trội hơn một chút so với các mô hình khác trên BEIR.
Theo các nhà nghiên cứu, “Các thí nghiệm trên MS MARCO và NQ cho thấy BlockRank (Mistral-7B) phù hợp hoặc vượt trội hơn về hiệu quả tinh chỉnh tiêu chuẩn trong khi vẫn hiệu quả hơn đáng kể trong suy luận và đào tạo.”
Họ cũng lưu ý rằng kết quả của họ dựa trên các thử nghiệm chỉ sử dụng mô hình Mistral 7B, nghĩa là cần nghiên cứu thêm để xác nhận hiệu suất của BlockRank trên các kiến trúc khác nhau.
Google đã sử dụng nó chưa?
Đó là câu hỏi mà mọi người đều muốn hỏi và cho đến nay, câu trả lời là không.
Không có bằng chứng công khai nào cho thấy BlockRank đã được tích hợp vào Google tìm kiếm hoặc các sản phẩm liên quan. Cơ chế của nó khác biệt đáng kể so với các hệ thống hỗ trợ AI Overviews hoặc FastSearch.
Hiện tại, nó chỉ tồn tại dưới dạng một dự án nghiên cứu thuần túy.
Tuy nhiên, DeepMind dường như đang chuẩn bị phát hành công khai BlockRank trên GitHub.
Mã này hiện vẫn chưa hoàn thiện, nhưng một khi được tung ra, nó có thể mở ra một làn sóng thử nghiệm từ các nhà phát triển độc lập và các nhóm học thuật mong muốn thử nghiệm công nghệ này trực tiếp.