Công nghệ đột phá được gọi là Mô hình hóa Ngôn ngữ Thích ứng Tự tin (CALM: Confident Adaptive Language Modeling) có thể cải thiện tốc độ mô hình ngôn ngữ lớn lên đến ba lần

Google CALM công nghệ tăng tốc các mô hình ngôn ngữ lớn như GPT3, LaMDA lên tới 3 lần
Google CALM công nghệ tăng tốc các mô hình ngôn ngữ lớn như GPT3, LaMDA lên tới 3 lần

Google CALM là gì?

CALM viết tắt của cụm từ Confident Adaptive Language Modeling, là một công nghệ đột phá của Google giúp tăng tốc các Mô hình Ngôn ngữ lớn (như GPT-3 và LaMDA) mà không ảnh hưởng đến mức hiệu suất.

Một số mô hình ngôn ngữ, bao gồm T5, LaMDA, GPT-3 và PaLM, đã cho thấy kết quả xuất sắc trong nhiều tác vụ ngôn ngữ. 

Tuy nhiên, khi tạo văn bản, hầu hết các mô hình ngôn ngữ tự hồi quy tạo ra văn bản đó theo cách tương tự như cách con người nói và viết, bằng cách dự đoán từng từ mới dựa trên các từ trước đó và lần lượt xuất ra chúng.

Quá trình này không thể được thực hiện cùng lúc trên các máy tính khác nhau vì mô hình ngôn ngữ phải hoàn thành việc dự đoán một từ trước khi nó có thể bắt đầu dự đoán từ tiếp theo.

CALM được Google giới thiệu năm 2022

Tại NeurIPS 2022, Google đã trình bày một phương pháp mới có tên là CALM -Confident Adaptive Language Modeling (Mô hình ngôn ngữ thích ứng tự tin) để cải thiện tốc độ tạo văn bản trong các mô hình ngôn ngữ trong quá trình suy luận. 

CALM dựa trên ý tưởng rằng một số dự đoán từ dễ hơn những từ khác. Nó nhằm mục đích tăng hiệu quả bằng cách phân bổ có chọn lọc nhiều tài nguyên tính toán hơn cho các dự đoán khó hơn, cho phép mô hình ngôn ngữ tạo văn bản nhanh hơn trong khi vẫn duy trì đầu ra chất lượng cao.

CALM là một giải pháp tuyệt vời cho phép tạo văn bản nhanh hơn với các mô hình ngôn ngữ mà không làm giảm chất lượng của văn bản đầu ra.

Điều này đạt được bằng cách tự động điều chỉnh lượng tính toán được sử dụng ở mỗi bước tạo văn bản, cho phép mô hình thoát khỏi trình tự tính toán sớm khi đủ tự tin. 

Khi mô hình ngôn ngữ này tiếp tục trở nên tốt hơn, chúng tôi tin rằng Google sẽ sử dụng nó một cách hiệu quả trong SERPs, đặc biệt là với GPT3.5 đang tạo ra nhiều tiếng ồn trong ngành.

Google đã và đang nỗ lực đáng khen ngợi để cải thiện chất lượng kết quả tìm kiếm bằng cách sử dụng Trí tuệ nhân tạo tiên tiến. 

Sau Google MUM và bây giờ là CALM

Bước nhảy vọt lớn nhất từ trước đến nay kể từ lần đầu tiên xảy ra với việc giới thiệu RankBrain và sau đó là BERT vào năm 2019. Sau đó, họ giới thiệu Mô hình Multitask United (MUM) vào năm 2021 và bây giờ là CALM vào năm 2022.

Theo thông báo của Prabhakar Raghavan trong Google I/O 2021, MUM mạnh hơn BERT 1000 lần và có khả năng đa nhiệm, cho phép nó phân tích video, hình ảnh và văn bản trong 75 ngôn ngữ để cung cấp cho người dùng câu trả lời cho các câu hỏi phức tạp. truy vấn tìm kiếm. 

Điều này có nghĩa là MUM sẽ kết hợp các khía cạnh khác nhau của truy vấn tìm kiếm và cố gắng hiểu cảm xúc, ngữ cảnh, thực thể và quan trọng nhất là ý định của người dùng để cung cấp câu trả lời thực sự gần với những gì người dùng mong đợi. 

Raghavan đã chứng minh sức mạnh của MUM bằng cách thực hiện một truy vấn tìm kiếm phức tạp “ Tôi đã leo núi Adams và bây giờ muốn leo núi Phú Sĩ vào mùa thu tới, tôi nên làm gì khác đi để chuẩn bị?”

Hãy xem video này về cách MUM thực hiện tìm kiếm và cung cấp kết quả vượt trội hơn nhiều so với kết quả mà chúng ta quen thuộc. 

Theo Raghavan, MUM có thể tiếp thu kiến thức chuyên sâu về từ này và nó có thể hiểu ngôn ngữ, tạo ra nó và đào tạo đồng thời 75 ngôn ngữ không giống như các mô hình khác chỉ hoạt động một ngôn ngữ tại một thời điểm. 

Google vẫn đang thử nghiệm MUM nhưng dự kiến nó sẽ sớm ra khỏi phòng thí nghiệm và trở thành một phần của hệ sinh thái Google Tìm kiếm. Gã khổng lồ công cụ tìm kiếm nên thông báo cho chúng tôi về sự tích hợp của nó như cách nó thông báo triển khai BERT. 

CALM sẽ tác động tới kết quả tìm kiếm?

Nhưng trước đó, với tư cách là Quản trị viên web, bạn phải hiểu cách nó có thể tác động đến việc tìm kiếm. Chúng tôi cũng không biết gì nhưng cộng đồng đã đưa ra một vài khả năng. 

  • Bạn có thể bắt đầu thấy một loại kết quả mới, một dạng cải tiến của Google Answers kết hợp tất cả thông tin hiện có để cung cấp cho người dùng câu trả lời cụ thể mà họ đang tìm kiếm. 
  • Điều này có thể có nghĩa là sẽ có nhiều kết quả nhấp chuột bằng 0 hơn trên tìm kiếm, đây là điều mà chúng tôi đã chứng kiến. 
  • Tận dụng dữ liệu có cấu trúc (Structured Data). Google đang lấy tất cả dữ liệu này từ cái mà họ gọi là Sơ đồ tri thức và nó được cung cấp bởi các đánh dấu trong mỗi trang web. 
  • Nội dung dạng dài (content long-term) sẽ tạo ra một sự cắt giảm lớn bởi vì nếu một nguồn có thể cung cấp một phần lớn thông tin mà người dùng đang tìm kiếm, những trang như vậy sẽ lọt vào top đầu. 
  • Hãy quên việc nhồi nhét từ khóa. Tập trung nhiều hơn vào content tự nhiên chạm đến điểm đau của khán giả. 
  • Chúng ta vẫn chưa biết MUM sẽ mạnh đến mức nào. Tuy nhiên, tốt hơn là làm cho content đơn giản và dễ đọc. Nếu nội dung có nhiều biệt ngữ, có khả năng MUM không tìm thấy sự liên quan trong đó.

Cùng với điều này, với tư cách là người làm SEO, bạn cũng phải hiểu cách thức hoạt động của một Mô hình ngôn ngữ khác của LaMDA được giới thiệu vào năm 2021 Google I/O). Mặc dù đây là Mô hình Ngôn ngữ cho Ứng dụng Đối thoại, nhưng nó sẽ có tác động lớn đến tìm kiếm, đặc biệt là tìm kiếm diễn ra thông qua Google Assistants. 

LaMDA là viết tắt của Language Model for Dialogue Applications và nó đang thiết lập các tiêu chuẩn mới cho các cuộc hội thoại AI tự nhiên. Nó có thể làm cho các cuộc trò chuyện trở nên tự nhiên bằng cách tìm nạp thông tin từ Sơ đồ tri thức của Google. 

Sundar Pichai, Giám đốc điều hành của Google đã xem trước LaMDA, hay “Mô hình ngôn ngữ cho các ứng dụng đối thoại,” tại sự kiện I/O của công ty. Ông cho biết LaMDA được thiết kế để thực hiện một cuộc trò chuyện mở với người dùng mà không lặp lại cùng một thông tin.

LaMDA là một mô hình dựa trên máy biến áp, giống như BERT và MUM. Nó có thể được huấn luyện để đọc các từ, hiểu mối quan hệ giữa các từ trong một câu và dự đoán từ nào có thể xuất hiện tiếp theo.

Google đã nhấn mạnh vào việc huấn luyện nó để đưa ra những câu trả lời hợp lý và cụ thể, thay vì những câu trả lời chung chung hơn.

Tìm hiểu về Google LaMDA tại đây

Nguồn:

  • https://www.stanventures.com/blog/seo-trends/
  • https://ai.googleblog.com/2022/12/accelerating-text-generation-with.html