Nhân dân địa phương thường gọi là âm linh tự và chùa âm hồn, trong đó sự phân bố bệ thờ khá giống nhau, bao gồm: Ban giữa thờ thần: Chúa chưởng ôn hoàng, ban bên phải thờ thần ASát Đế mẫu, bên trái thờ thần Diệm khẩu quỷ vương, tất cả gọi là Tam vị thần tiên (tước gọi là Đoan Túc Dực bảo trung hưng trung đẳng thần). Phía bên ngoài, 2 bên là 2 ban thờ: Thành hoàng bổn xứ, tiền hiền khai khẩn và chính giữa là Long đình thờ Hội đồng, trước mặt chính diện nghĩa tự là bức bình phong và 2 trụ biểu.
Thờ cúng âm hồn là tín ngưỡng dân gian khá phổ biến của người Việt ở Quảng Ngãi. Tuy nhiên do quan niệm khác nhau mà ở từng địa phương có những hình thức, lễ nghi thờ cúng cũng không giống nhau. Đối với Lý Sơn tục thờ cúng cô hồn thể hiện khá rõ nét, biểu hiện ở sự tồn tại nhiều nghĩa tự và nghi lễ thờ cúng hằng năm được tổ chức trang trọng tại Lý Sơn.
Âm Linh tự (hay còn gọi là Lân Vĩnh Lợi) – nơi thờ cô hồn và phối thờ lính Hoàng Sa, thuộc thôn Tây An Vĩnh. Theo lời kể của các cụ cao niên trong làng thì Âm Linh tự được xây dựng vào giữa thế kỷ XVII. Đến thời vua Gia Long (1802-1820), Âm Linh tự được tu bổ lần đầu, xây dựng khung mái che bằng gỗ, mái lợp bằng tranh và xây dựng bên cạnh phía tây Âm linh tự đền thờ thần Thượng Thiên – vị thần cai quản cô hồn và đem lại sự bình yên cho xóm làng. Đến năm 1883, Âm Linh tự được tu bổ lần thứ hai. Trong lần tu bổ này, toàn bộ Âm Linh tự được lợp bằng ngói âm dương, bộ khung nhà được thay bằng hệ thống kèo cột vững chắc. Năm 1956, Âm Linh tự được tu bổ nhà tiền đường, xây dựng hệ thống cửa vòm và trang trí bờ nóc, bờ mái nhiều chủ đề phong phú như hiện nay. Đến năm 1996, Âm Linh tự được tiếp tục tu bổ, sửa chữa đền thờ Thượng Thiên, tạo thành một di tích tín ngưỡng trang nghiêm như ngày nay.
Âm linh tự được xây dựng theo kiểu kiến trúc hình chữ “công”, chính giữa là nơi thờ chính, bên trái là điện thờ thần Thượng Thiên, bên phải là nhà để chuẩn bị vật phẩm cúng tế. Trước sân Âm Linh tự là tháp thờ ghi 4 chữ “chiến sĩ trận vong”, nhằm tưởng nhớ đến những người lính đã hy sinh trong khi làm nhiệm vụ trên quần đảo Hoàng Sa xưa, tiếp đến là bình phong và 2 trụ biểu trên đặt 2 con kỳ lân. Bên ngoài cùng là cổng ra vào đắp nổi 3 chữ Hán “Âm Linh tự”, đỉnh trên vòm cổng là 2 con rồng chầu quả châu được đắp nổi với những màu sắc sặc sỡ hết sức sinh động, 2 bên cổng là 2 con kỳ lân.
Nhà Tiền đường: Tại nhà tiền đường có 2 ban thờ Hồn mai và Phách quế nằm đối nhau ở 2 đầu vách phía tây và đông. Tại nhà tiền đường có nhiều câu đối bằng chữ Hán ca ngợi anh linh, khí phách của những vong hồn hy sinh vì đại nghĩa.
Nhà Chánh điện: Nhà chánh điện gồm 3 vòm cửa được trang trí hết sức tinh xảo. Trên đỉnh trụ cửa áp tường trang trí hình lưỡng long tranh châu. Nhà chánh điện là nơi đặt các ban thờ chính. Tại nhà chánh điện mỗi một ban thờ được xây dựng trang trí như một dinh thờ thu nhỏ với đầy đủ kiểu nóc mái uốn cong, trên nóc trang trí hình lưỡng long tranh châu… Trong các ban thờ tại nhà chánh điện của thì Long đình được xây trên bệ thờ, bao gồm 4 cột chống đỡ mái che khá vững chắc. 4 cột của long đình được đắp nổi 4 con rồng quấn quanh thân cột hết sức sinh động, mái của long đình được chia làm 4 mái với 4 góc mái uốn cong chầu nậm rượu được đặt chính giữa nóc mái. Long đình được trang trí nhiều hoa văn, với nhiều màu sắc sặc sỡ tạo nên sự trang nghiêm của điện thờ.
Nhà chánh điện kết cấu kiến trúc 1 gian 2 chái. Hệ thống cột đã chia không gian thờ phụng của nhà chánh điện thành 3 gian. Gian giữa có án thờ thần, hai bên thờ tả ban và hữu ban. Các án thờ thần, tả ban, hữu ban đều có tạo mái như một am thờ nhỏ, góc mái am thờ trang trí rồng, cuốn thư, ngũ quả và gắn hoành phi trước án thờ. Trong hệ thống cột tại nhà chính điện đều gắn liễn đối cẩn xà cừ rất trang nghiêm. Các câu đối có nội dung ca ngợi vẻ đẹp phong cảnh, ca ngợi công lao của tổ tiên khai phá lập làng, đồng thờ thể hiện ước mong về một cuộc sống yên bình cho nhân dân trong làng.
Mỹ thuật trang trí bên trong và bên ngoài của Âm Linh tự theo 3 dạng: tạo khối, đắp nổi và vẽ sơn, theo các chủ đề: tứ linh, tứ quý, bát bảo, sơn thủy tùng đình, triền chi, lưỡng long tranh châu… các chủ đề trên được trang trí trên các đỉnh cửa, bờ nóc mái… Đặc biệt mô típ trang trí hình con nghê, lưỡng long, triền chi, hoa cúc trên đỉnh cửa trong nhà chính điện rất sống động. Trên bờ mái nhà chính điện trang trí lưỡng long tranh châu, hai đầu hồi đắp nổi mô tiếp ngũ phúc và mân ngũ quả.
Đền thờ thần Thượng Thiên: gồm một gian, phía trên có hoành phi “Vĩnh thượng tự”, trong nhà, giữa có ban thờ thần Thượng thiên, hai bên đặt ban thờ tả ban và hữu ban.
Khu vực sân trước đền Âm Linh tự là bình phong, ngoài bình phong là tháp thờ “Chiến sỹ trận vong” – tưởng nhớ những chiến sỹ trong đội Hoàng Sa và Trường Sa đã hy sinh trên biển.
Với lối kiến trúc thờ tự cô hồn tại Âm Linh tự, có thể khẳng định, đây là một di tích kiến trúc tín ngưỡng khá độc đáo, nó không chỉ đơn thuần làm chức năng cúng tế cô hồn trong dịp thanh minh hàng năm như những nơi khác mà còn thực hiện nhiều chức năng khác như cúng cầu an, cầu mùa, cúng tế trong các dịp xuân thu nhị kỳ, trong các ngày tết… thực hiện chức năng tín ngưỡng như một dinh thờ thần chung của nhân dân trong một xóm. Đặc biệt Âm Linh tự còn là nơi phối thờ các chiến sỹ Hoàng Sa và hằng năm tại đây tổ chức nhiều sinh hoạt tế lễ trong đó có gắn với lễ tế lính Hoàng Sa vào dịp thanh minh của làng cho thấy đây là quần thể di tích kiến trúc tín ngưỡng có giá trị và là di tích lịch sử gắn liền với tâm thức của nhân dân Lý Sơn về Đội Hoàng Sa và Trường Sa.
Di tích Âm Linh tự đã được Bộ Văn hoá Thông tin, nay là Bộ Văn hóa, Thể thao và Du lịch xếp hạng di tích lịch sử cấp Quốc gia tại Quyết định số 41/2007/QĐ-VHTT ngày 3 tháng 8 năm 2007.
