models.py

import torch
import os
import torch.nn as nn
from transformers import RobertaPreTrainedModel, RobertaModel, AutoConfig
from transformers.modeling_outputs import SequenceClassifierOutput

class TransformerForABSA(RobertaPreTrainedModel):
    base_model_prefix = "roberta"

    def __init__(self, config):
        super().__init__(config)
        self.roberta = RobertaModel(config)
        self.dropout = nn.Dropout(config.hidden_dropout_prob)
        # Thêm lớp "none" vào num_sentiments
        self.sentiment_classifiers = nn.ModuleList([
            nn.Linear(config.hidden_size, config.num_sentiments + 1)  # +1 cho "none"
            for _ in range(config.num_aspects)
        ])
        self.init_weights()

    def forward(
        self,
        input_ids=None,
        attention_mask=None,
        labels=None,
        return_dict=None
    ):
        return_dict = return_dict if return_dict is not None else self.config.use_return_dict
        outputs = self.roberta(input_ids, attention_mask=attention_mask, return_dict=return_dict)
        pooled = self.dropout(outputs.pooler_output)  # [B, H]
        all_logits = torch.stack([cls(pooled) for cls in self.sentiment_classifiers], dim=1)  # [B, A, S+1]

        loss = None
        if labels is not None:
            # labels: [B, A], với lớp "none" thay vì -100
            B, A, _ = all_logits.size()
            logits_flat = all_logits.view(-1, all_logits.size(-1))
            targets_flat = labels.view(-1)
            loss_fct = nn.CrossEntropyLoss()  # Không dùng ignore_index
            loss = loss_fct(logits_flat, targets_flat)

        if not return_dict:
            return ((loss, all_logits) + outputs[2:]) if loss is not None else (all_logits,) + outputs[2:]
        return SequenceClassifierOutput(
            loss=loss,
            logits=all_logits,
            hidden_states=outputs.hidden_states,
            attentions=outputs.attentions,
        )

    def save_pretrained(self, save_directory: str, **kwargs):
            """
            HuggingFace Trainer đôi khi truyền vào state_dict=..., nên ta
            chấp nhận thêm **kwargs để không vướng lỗi.
            """
            # 1) Lưu phần backbone (encoder)
            self.roberta.save_pretrained(save_directory, **kwargs)  

            # 2) Cập nhật config rồi lưu
            config = self.roberta.config
            config.num_aspects = len(self.sentiment_classifiers)
            config.num_sentiments = self.sentiment_classifiers[0].out_features
            config.auto_map       = {"AutoModel": "models.TransformerForABSA"}
            config.save_pretrained(save_directory, **kwargs)

            # 3) Lưu toàn bộ state_dict (bao gồm cả 2 head) — 
            #    nếu Trainer đã truyền state_dict trong kwargs, có thể dùng luôn,
            #    nếu không, lấy từ self.state_dict()
            sd = kwargs.get("state_dict", None) or self.state_dict()
            torch.save(sd, os.path.join(save_directory, "pytorch_model.bin"))