Các chatbot AI dựa trên đám mây như ChatGPT và Gemini mang lại sự tiện lợi vượt trội, nhưng đi kèm với đó là những đánh đổi về quyền riêng tư và khả năng truy cập. Việc chạy một Mô hình Ngôn ngữ Lớn (LLM) cục bộ – công nghệ cốt lõi đằng sau các chatbot AI – giúp bạn hoàn toàn kiểm soát dữ liệu, cho phép truy cập ngoại tuyến và tăng cường bảo mật thông tin. Dù nghe có vẻ phức tạp, nhưng với những ứng dụng phù hợp, việc này trở nên dễ dàng cho bất kỳ ai muốn bắt đầu.
Ollama
Ollama là một ứng dụng thân thiện với người dùng, được thiết kế để giúp các cá nhân chạy các LLM cục bộ một cách hiệu quả mà không cần có chuyên môn kỹ thuật sâu. Ứng dụng này cho phép bạn vận hành các mô hình AI mạnh mẽ trên phần cứng tiêu dùng thông thường như máy tính xách tay. Ollama nổi bật nhờ sự đơn giản và dễ tiếp cận, không yêu cầu thiết lập phức tạp.
Nó hỗ trợ nhiều mô hình đa dạng và có ứng dụng dành cho máy tính để bàn trên macOS, Windows và Linux, đảm bảo bạn được hỗ trợ dù sử dụng nền tảng nào. Quá trình cài đặt đơn giản, và bạn sẽ sẵn sàng chạy các LLM trên thiết bị của mình trong thời gian ngắn.
Để khởi chạy một mô hình, bạn sử dụng lệnh ollama run [mã định danh mô hình]. Bạn có thể chỉ định một trong các LLM được hỗ trợ ở cuối lệnh. Ví dụ, để chạy mô hình Phi 4 của Microsoft, chỉ cần nhập lệnh sau:
ollama run phi4Để chạy Llama 4, hãy nhập:
ollama run llama4Mô hình được chỉ định sẽ tự động tải xuống và bắt đầu chạy. Sau đó, bạn có thể trò chuyện trực tiếp với nó từ dòng lệnh. Ví dụ, bạn có thể chạy DeepSeek cục bộ trên máy tính xách tay của mình bằng Ollama.
Giao diện dòng lệnh hiển thị mô hình DeepSeek-R1 đang chạy bằng Ollama trên máy tính
Msty
Tương tự như Ollama, Msty là một ứng dụng dễ sử dụng giúp đơn giản hóa việc chạy các LLM cục bộ. Có sẵn cho Windows, macOS và Linux, Msty loại bỏ những phức tạp thường liên quan đến việc chạy LLM cục bộ, chẳng hạn như cấu hình Docker hay giao diện dòng lệnh.
Ứng dụng cung cấp nhiều mô hình mà bạn có thể chạy trên thiết bị của mình, với các tùy chọn phổ biến như Llama, DeepSeek, Mistral và Gemma. Bạn cũng có thể tìm kiếm mô hình trực tiếp trên Hugging Face. Sau khi cài đặt, ứng dụng sẽ tự động tải xuống một mô hình mặc định vào thiết bị của bạn.
Sau đó, bạn có thể tải xuống bất kỳ mô hình nào bạn muốn từ thư viện. Nếu bạn muốn tránh giao diện dòng lệnh bằng mọi giá, Msty là ứng dụng hoàn hảo dành cho bạn. Giao diện dễ sử dụng của nó mang lại trải nghiệm cao cấp.
Ứng dụng cũng bao gồm một thư viện các prompt với nhiều tùy chọn tạo sẵn mà bạn có thể sử dụng để hướng dẫn các mô hình LLM và tinh chỉnh phản hồi. Nó cũng có các không gian làm việc để giữ các cuộc trò chuyện và nhiệm vụ của bạn được tổ chức gọn gàng.
Giao diện ứng dụng Msty đang chạy mô hình LLM cục bộ trên hệ điều hành macOS
AnythingLLM
AnythingLLM là một ứng dụng máy tính để bàn tiện dụng được thiết kế cho người dùng muốn chạy các LLM cục bộ mà không cần thiết lập phức tạp. Từ cài đặt đến prompt đầu tiên, quá trình này diễn ra trôi chảy và trực quan. Nó mang lại cảm giác như bạn đang sử dụng một LLM dựa trên đám mây.
Trong quá trình thiết lập, bạn có thể tải xuống các mô hình tùy chọn. Một số LLM offline tốt nhất hiện nay, bao gồm DeepSeek R1, Llama 4, Microsoft Phi 4, Phi 4 Mini và Mistral, đều có sẵn để tải xuống.
Giống như hầu hết các ứng dụng trong danh sách này, AnythingLLM hoàn toàn là mã nguồn mở. Nó bao gồm nhà cung cấp LLM riêng và cũng hỗ trợ nhiều nguồn của bên thứ ba, bao gồm Ollama, LM Studio và Local AI, cho phép bạn tải xuống và chạy các mô hình từ các nguồn này. Nhờ đó, nó cho phép bạn chạy hàng trăm, nếu không phải hàng nghìn, mô hình LLM có sẵn trên web.
Màn hình chính của ứng dụng AnythingLLM hiển thị các mô hình AI có sẵn trên macOS
Jan.ai
Jan tự quảng cáo mình là một lựa chọn thay thế ChatGPT mã nguồn mở chạy ngoại tuyến. Nó cung cấp một ứng dụng máy tính để bàn bóng bẩy để chạy các mô hình LLM khác nhau cục bộ trên thiết bị của bạn. Bắt đầu với Jan rất dễ dàng. Sau khi cài đặt ứng dụng (có sẵn trên Windows, macOS và Linux), bạn sẽ được cung cấp một số mô hình LLM để tải xuống.
Mặc định chỉ hiển thị một vài mô hình, nhưng bạn có thể tìm kiếm hoặc nhập URL của Hugging Face nếu không thấy thứ mình đang tìm kiếm. Bạn cũng có thể nhập một tệp mô hình (ở định dạng GGUF) nếu bạn đã có sẵn cục bộ. Thực sự không thể dễ dàng hơn thế. Ứng dụng bao gồm cả các LLM dựa trên đám mây trong danh sách của nó, vì vậy hãy đảm bảo áp dụng bộ lọc phù hợp để loại trừ chúng.
Ứng dụng Jan.ai với giao diện chat thân thiện đang chạy mô hình ngôn ngữ Qwen LLM cục bộ
LM Studio
LM Studio là một ứng dụng khác cung cấp một trong những cách tiếp cận dễ dàng nhất để chạy các LLM cục bộ trên thiết bị của bạn. Nó cung cấp một ứng dụng máy tính để bàn (có sẵn trên macOS, Windows và Linux) cho phép bạn dễ dàng chạy các LLM trên thiết bị của mình.
Sau khi thiết lập, bạn có thể duyệt và tải các mô hình phổ biến như Llama, Mistral, Gemma, DeepSeek, Phi và Qwen trực tiếp từ Hugging Face chỉ với vài cú nhấp chuột. Sau khi tải, mọi thứ đều chạy ngoại tuyến, đảm bảo các prompt và cuộc trò chuyện của bạn luôn riêng tư trên thiết bị.
Ứng dụng tự hào có giao diện người dùng trực quan, quen thuộc, vì vậy bạn sẽ cảm thấy như đang ở nhà nếu đã từng sử dụng các LLM dựa trên đám mây như Claude.
Màn hình hướng dẫn ban đầu của LM Studio giúp người dùng dễ dàng chạy các mô hình LLM cục bộ
Có nhiều cách để chạy một LLM trên Linux, Windows, macOS, hoặc bất kỳ hệ điều hành nào bạn sử dụng. Tuy nhiên, các ứng dụng được liệt kê ở đây cung cấp một số cách dễ dàng và tiện lợi nhất để thực hiện điều đó. Một số liên quan đến một chút thao tác với dòng lệnh, trong khi những ứng dụng khác, như AnythingLLM và Jan.ai, cho phép bạn thực hiện mọi thứ từ giao diện người dùng đồ họa (GUI).
Tùy thuộc vào mức độ thoải mái về kỹ thuật của bạn, hãy thử một vài ứng dụng và gắn bó với ứng dụng phù hợp nhất với nhu cầu của bạn. Việc này giúp bạn chủ động hơn trong việc kiểm soát dữ liệu cá nhân và trải nghiệm AI của mình.
Hãy chia sẻ ý kiến của bạn về những ứng dụng này hoặc bất kỳ giải pháp chạy LLM cục bộ nào khác mà bạn đã khám phá trong phần bình luận bên dưới!
