mirror of
https://github.com/Motorhead1991/qemu.git
synced 2025-08-07 09:43:56 -06:00
target/loongarch: Add TLB instruction support
This includes: - TLBSRCH - TLBRD - TLBWR - TLBFILL - TLBCLR - TLBFLUSH - INVTLB Signed-off-by: Xiaojuan Yang <yangxiaojuan@loongson.cn> Signed-off-by: Song Gao <gaosong@loongson.cn> Reviewed-by: Richard Henderson <richard.henderson@linaro.org> Message-Id: <20220606124333.2060567-28-yangxiaojuan@loongson.cn> Signed-off-by: Richard Henderson <richard.henderson@linaro.org>
This commit is contained in:
Xiaojuan Yang
Richard Henderson
parent
f84a2aacf5
commit
fcbbeb8ecd
5 changed files with 499 additions and 0 deletions
|
|
@ -7,9 +7,11 @@
|
|||
*/
|
||||
|
||||
#include "qemu/osdep.h"
|
||||
#include "qemu/guest-random.h"
|
||||
|
||||
#include "cpu.h"
|
||||
#include "internals.h"
|
||||
#include "exec/helper-proto.h"
|
||||
#include "exec/exec-all.h"
|
||||
#include "exec/cpu_ldst.h"
|
||||
#include "exec/log.h"
|
||||
|
|
@ -280,6 +282,359 @@ static void raise_mmu_exception(CPULoongArchState *env, target_ulong address,
|
|||
}
|
||||
}
|
||||
|
||||
static void invalidate_tlb_entry(CPULoongArchState *env, int index)
|
||||
{
|
||||
target_ulong addr, mask, pagesize;
|
||||
uint8_t tlb_ps;
|
||||
LoongArchTLB *tlb = &env->tlb[index];
|
||||
|
||||
int mmu_idx = cpu_mmu_index(env, false);
|
||||
uint8_t tlb_v0 = FIELD_EX64(tlb->tlb_entry0, TLBENTRY, V);
|
||||
uint8_t tlb_v1 = FIELD_EX64(tlb->tlb_entry1, TLBENTRY, V);
|
||||
uint64_t tlb_vppn = FIELD_EX64(tlb->tlb_misc, TLB_MISC, VPPN);
|
||||
|
||||
if (index >= LOONGARCH_STLB) {
|
||||
tlb_ps = FIELD_EX64(tlb->tlb_misc, TLB_MISC, PS);
|
||||
} else {
|
||||
tlb_ps = FIELD_EX64(env->CSR_STLBPS, CSR_STLBPS, PS);
|
||||
}
|
||||
pagesize = 1 << tlb_ps;
|
||||
mask = MAKE_64BIT_MASK(0, tlb_ps + 1);
|
||||
|
||||
if (tlb_v0) {
|
||||
addr = (tlb_vppn << R_TLB_MISC_VPPN_SHIFT) & ~mask; /* even */
|
||||
tlb_flush_range_by_mmuidx(env_cpu(env), addr, pagesize,
|
||||
mmu_idx, TARGET_LONG_BITS);
|
||||
}
|
||||
|
||||
if (tlb_v1) {
|
||||
addr = (tlb_vppn << R_TLB_MISC_VPPN_SHIFT) & pagesize; /* odd */
|
||||
tlb_flush_range_by_mmuidx(env_cpu(env), addr, pagesize,
|
||||
mmu_idx, TARGET_LONG_BITS);
|
||||
}
|
||||
}
|
||||
|
||||
static void invalidate_tlb(CPULoongArchState *env, int index)
|
||||
{
|
||||
LoongArchTLB *tlb;
|
||||
uint16_t csr_asid, tlb_asid, tlb_g;
|
||||
|
||||
csr_asid = FIELD_EX64(env->CSR_ASID, CSR_ASID, ASID);
|
||||
tlb = &env->tlb[index];
|
||||
tlb_asid = FIELD_EX64(tlb->tlb_misc, TLB_MISC, ASID);
|
||||
tlb_g = FIELD_EX64(tlb->tlb_entry0, TLBENTRY, G);
|
||||
if (tlb_g == 0 && tlb_asid != csr_asid) {
|
||||
return;
|
||||
}
|
||||
invalidate_tlb_entry(env, index);
|
||||
}
|
||||
|
||||
static void fill_tlb_entry(CPULoongArchState *env, int index)
|
||||
{
|
||||
LoongArchTLB *tlb = &env->tlb[index];
|
||||
uint64_t lo0, lo1, csr_vppn;
|
||||
uint16_t csr_asid;
|
||||
uint8_t csr_ps;
|
||||
|
||||
if (FIELD_EX64(env->CSR_TLBRERA, CSR_TLBRERA, ISTLBR)) {
|
||||
csr_ps = FIELD_EX64(env->CSR_TLBREHI, CSR_TLBREHI, PS);
|
||||
csr_vppn = FIELD_EX64(env->CSR_TLBREHI, CSR_TLBREHI, VPPN);
|
||||
lo0 = env->CSR_TLBRELO0;
|
||||
lo1 = env->CSR_TLBRELO1;
|
||||
} else {
|
||||
csr_ps = FIELD_EX64(env->CSR_TLBIDX, CSR_TLBIDX, PS);
|
||||
csr_vppn = FIELD_EX64(env->CSR_TLBEHI, CSR_TLBEHI, VPPN);
|
||||
lo0 = env->CSR_TLBELO0;
|
||||
lo1 = env->CSR_TLBELO1;
|
||||
}
|
||||
|
||||
if (csr_ps == 0) {
|
||||
qemu_log_mask(CPU_LOG_MMU, "page size is 0\n");
|
||||
}
|
||||
|
||||
/* Only MTLB has the ps fields */
|
||||
if (index >= LOONGARCH_STLB) {
|
||||
tlb->tlb_misc = FIELD_DP64(tlb->tlb_misc, TLB_MISC, PS, csr_ps);
|
||||
}
|
||||
|
||||
tlb->tlb_misc = FIELD_DP64(tlb->tlb_misc, TLB_MISC, VPPN, csr_vppn);
|
||||
tlb->tlb_misc = FIELD_DP64(tlb->tlb_misc, TLB_MISC, E, 1);
|
||||
csr_asid = FIELD_EX64(env->CSR_ASID, CSR_ASID, ASID);
|
||||
tlb->tlb_misc = FIELD_DP64(tlb->tlb_misc, TLB_MISC, ASID, csr_asid);
|
||||
|
||||
tlb->tlb_entry0 = lo0;
|
||||
tlb->tlb_entry1 = lo1;
|
||||
}
|
||||
|
||||
/* Return an random value between low and high */
|
||||
static uint32_t get_random_tlb(uint32_t low, uint32_t high)
|
||||
{
|
||||
uint32_t val;
|
||||
|
||||
qemu_guest_getrandom_nofail(&val, sizeof(val));
|
||||
return val % (high - low + 1) + low;
|
||||
}
|
||||
|
||||
void helper_tlbsrch(CPULoongArchState *env)
|
||||
{
|
||||
int index, match;
|
||||
|
||||
if (FIELD_EX64(env->CSR_TLBRERA, CSR_TLBRERA, ISTLBR)) {
|
||||
match = loongarch_tlb_search(env, env->CSR_TLBREHI, &index);
|
||||
} else {
|
||||
match = loongarch_tlb_search(env, env->CSR_TLBEHI, &index);
|
||||
}
|
||||
|
||||
if (match) {
|
||||
env->CSR_TLBIDX = FIELD_DP64(env->CSR_TLBIDX, CSR_TLBIDX, INDEX, index);
|
||||
env->CSR_TLBIDX = FIELD_DP64(env->CSR_TLBIDX, CSR_TLBIDX, NE, 0);
|
||||
return;
|
||||
}
|
||||
|
||||
env->CSR_TLBIDX = FIELD_DP64(env->CSR_TLBIDX, CSR_TLBIDX, NE, 1);
|
||||
}
|
||||
|
||||
void helper_tlbrd(CPULoongArchState *env)
|
||||
{
|
||||
LoongArchTLB *tlb;
|
||||
int index;
|
||||
uint8_t tlb_ps, tlb_e;
|
||||
|
||||
index = FIELD_EX64(env->CSR_TLBIDX, CSR_TLBIDX, INDEX);
|
||||
tlb = &env->tlb[index];
|
||||
|
||||
if (index >= LOONGARCH_STLB) {
|
||||
tlb_ps = FIELD_EX64(tlb->tlb_misc, TLB_MISC, PS);
|
||||
} else {
|
||||
tlb_ps = FIELD_EX64(env->CSR_STLBPS, CSR_STLBPS, PS);
|
||||
}
|
||||
tlb_e = FIELD_EX64(tlb->tlb_misc, TLB_MISC, E);
|
||||
|
||||
if (!tlb_e) {
|
||||
/* Invalid TLB entry */
|
||||
env->CSR_TLBIDX = FIELD_DP64(env->CSR_TLBIDX, CSR_TLBIDX, NE, 1);
|
||||
env->CSR_ASID = FIELD_DP64(env->CSR_ASID, CSR_ASID, ASID, 0);
|
||||
env->CSR_TLBEHI = 0;
|
||||
env->CSR_TLBELO0 = 0;
|
||||
env->CSR_TLBELO1 = 0;
|
||||
env->CSR_TLBIDX = FIELD_DP64(env->CSR_TLBIDX, CSR_TLBIDX, PS, 0);
|
||||
} else {
|
||||
/* Valid TLB entry */
|
||||
env->CSR_TLBIDX = FIELD_DP64(env->CSR_TLBIDX, CSR_TLBIDX, NE, 0);
|
||||
env->CSR_TLBIDX = FIELD_DP64(env->CSR_TLBIDX, CSR_TLBIDX,
|
||||
PS, (tlb_ps & 0x3f));
|
||||
env->CSR_TLBEHI = FIELD_EX64(tlb->tlb_misc, TLB_MISC, VPPN) <<
|
||||
R_TLB_MISC_VPPN_SHIFT;
|
||||
env->CSR_TLBELO0 = tlb->tlb_entry0;
|
||||
env->CSR_TLBELO1 = tlb->tlb_entry1;
|
||||
}
|
||||
}
|
||||
|
||||
void helper_tlbwr(CPULoongArchState *env)
|
||||
{
|
||||
int index = FIELD_EX64(env->CSR_TLBIDX, CSR_TLBIDX, INDEX);
|
||||
|
||||
invalidate_tlb(env, index);
|
||||
|
||||
if (FIELD_EX64(env->CSR_TLBIDX, CSR_TLBIDX, NE)) {
|
||||
env->tlb[index].tlb_misc = FIELD_DP64(env->tlb[index].tlb_misc,
|
||||
TLB_MISC, E, 0);
|
||||
return;
|
||||
}
|
||||
|
||||
fill_tlb_entry(env, index);
|
||||
}
|
||||
|
||||
void helper_tlbfill(CPULoongArchState *env)
|
||||
{
|
||||
uint64_t address, entryhi;
|
||||
int index, set, stlb_idx;
|
||||
uint16_t pagesize, stlb_ps;
|
||||
|
||||
if (FIELD_EX64(env->CSR_TLBRERA, CSR_TLBRERA, ISTLBR)) {
|
||||
entryhi = env->CSR_TLBREHI;
|
||||
pagesize = FIELD_EX64(env->CSR_TLBREHI, CSR_TLBREHI, PS);
|
||||
} else {
|
||||
entryhi = env->CSR_TLBEHI;
|
||||
pagesize = FIELD_EX64(env->CSR_TLBIDX, CSR_TLBIDX, PS);
|
||||
}
|
||||
|
||||
stlb_ps = FIELD_EX64(env->CSR_STLBPS, CSR_STLBPS, PS);
|
||||
|
||||
if (pagesize == stlb_ps) {
|
||||
/* Only write into STLB bits [47:13] */
|
||||
address = entryhi & ~MAKE_64BIT_MASK(0, R_CSR_TLBEHI_VPPN_SHIFT);
|
||||
|
||||
/* Choose one set ramdomly */
|
||||
set = get_random_tlb(0, 7);
|
||||
|
||||
/* Index in one set */
|
||||
stlb_idx = (address >> (stlb_ps + 1)) & 0xff; /* [0,255] */
|
||||
|
||||
index = set * 256 + stlb_idx;
|
||||
} else {
|
||||
/* Only write into MTLB */
|
||||
index = get_random_tlb(LOONGARCH_STLB, LOONGARCH_TLB_MAX - 1);
|
||||
}
|
||||
|
||||
invalidate_tlb(env, index);
|
||||
fill_tlb_entry(env, index);
|
||||
}
|
||||
|
||||
void helper_tlbclr(CPULoongArchState *env)
|
||||
{
|
||||
LoongArchTLB *tlb;
|
||||
int i, index;
|
||||
uint16_t csr_asid, tlb_asid, tlb_g;
|
||||
|
||||
csr_asid = FIELD_EX64(env->CSR_ASID, CSR_ASID, ASID);
|
||||
index = FIELD_EX64(env->CSR_TLBIDX, CSR_TLBIDX, INDEX);
|
||||
|
||||
if (index < LOONGARCH_STLB) {
|
||||
/* STLB. One line per operation */
|
||||
for (i = 0; i < 8; i++) {
|
||||
tlb = &env->tlb[i * 256 + (index % 256)];
|
||||
tlb_asid = FIELD_EX64(tlb->tlb_misc, TLB_MISC, ASID);
|
||||
tlb_g = FIELD_EX64(tlb->tlb_entry0, TLBENTRY, G);
|
||||
if (!tlb_g && tlb_asid == csr_asid) {
|
||||
tlb->tlb_misc = FIELD_DP64(tlb->tlb_misc, TLB_MISC, E, 0);
|
||||
}
|
||||
}
|
||||
} else if (index < LOONGARCH_TLB_MAX) {
|
||||
/* All MTLB entries */
|
||||
for (i = LOONGARCH_STLB; i < LOONGARCH_TLB_MAX; i++) {
|
||||
tlb = &env->tlb[i];
|
||||
tlb_asid = FIELD_EX64(tlb->tlb_misc, TLB_MISC, ASID);
|
||||
tlb_g = FIELD_EX64(tlb->tlb_entry0, TLBENTRY, G);
|
||||
if (!tlb_g && tlb_asid == csr_asid) {
|
||||
tlb->tlb_misc = FIELD_DP64(tlb->tlb_misc, TLB_MISC, E, 0);
|
||||
}
|
||||
}
|
||||
}
|
||||
|
||||
tlb_flush(env_cpu(env));
|
||||
}
|
||||
|
||||
void helper_tlbflush(CPULoongArchState *env)
|
||||
{
|
||||
int i, index;
|
||||
|
||||
index = FIELD_EX64(env->CSR_TLBIDX, CSR_TLBIDX, INDEX);
|
||||
|
||||
if (index < LOONGARCH_STLB) {
|
||||
/* STLB. One line per operation */
|
||||
for (i = 0; i < 8; i++) {
|
||||
int s_idx = i * 256 + (index % 256);
|
||||
env->tlb[s_idx].tlb_misc = FIELD_DP64(env->tlb[s_idx].tlb_misc,
|
||||
TLB_MISC, E, 0);
|
||||
}
|
||||
} else if (index < LOONGARCH_TLB_MAX) {
|
||||
/* All MTLB entries */
|
||||
for (i = LOONGARCH_STLB; i < LOONGARCH_TLB_MAX; i++) {
|
||||
env->tlb[i].tlb_misc = FIELD_DP64(env->tlb[i].tlb_misc,
|
||||
TLB_MISC, E, 0);
|
||||
}
|
||||
}
|
||||
|
||||
tlb_flush(env_cpu(env));
|
||||
}
|
||||
|
||||
void helper_invtlb_all(CPULoongArchState *env)
|
||||
{
|
||||
for (int i = 0; i < LOONGARCH_TLB_MAX; i++) {
|
||||
env->tlb[i].tlb_misc = FIELD_DP64(env->tlb[i].tlb_misc,
|
||||
TLB_MISC, E, 0);
|
||||
}
|
||||
tlb_flush(env_cpu(env));
|
||||
}
|
||||
|
||||
void helper_invtlb_all_g(CPULoongArchState *env, uint32_t g)
|
||||
{
|
||||
for (int i = 0; i < LOONGARCH_TLB_MAX; i++) {
|
||||
LoongArchTLB *tlb = &env->tlb[i];
|
||||
uint8_t tlb_g = FIELD_EX64(tlb->tlb_entry0, TLBENTRY, G);
|
||||
|
||||
if (tlb_g == g) {
|
||||
tlb->tlb_misc = FIELD_DP64(tlb->tlb_misc, TLB_MISC, E, 0);
|
||||
}
|
||||
}
|
||||
tlb_flush(env_cpu(env));
|
||||
}
|
||||
|
||||
void helper_invtlb_all_asid(CPULoongArchState *env, target_ulong info)
|
||||
{
|
||||
uint16_t asid = info & R_CSR_ASID_ASID_MASK;
|
||||
|
||||
for (int i = 0; i < LOONGARCH_TLB_MAX; i++) {
|
||||
LoongArchTLB *tlb = &env->tlb[i];
|
||||
uint8_t tlb_g = FIELD_EX64(tlb->tlb_entry0, TLBENTRY, G);
|
||||
uint16_t tlb_asid = FIELD_EX64(tlb->tlb_misc, TLB_MISC, ASID);
|
||||
|
||||
if (!tlb_g && (tlb_asid == asid)) {
|
||||
tlb->tlb_misc = FIELD_DP64(tlb->tlb_misc, TLB_MISC, E, 0);
|
||||
}
|
||||
}
|
||||
tlb_flush(env_cpu(env));
|
||||
}
|
||||
|
||||
void helper_invtlb_page_asid(CPULoongArchState *env, target_ulong info,
|
||||
target_ulong addr)
|
||||
{
|
||||
uint16_t asid = info & 0x3ff;
|
||||
|
||||
for (int i = 0; i < LOONGARCH_TLB_MAX; i++) {
|
||||
LoongArchTLB *tlb = &env->tlb[i];
|
||||
uint8_t tlb_g = FIELD_EX64(tlb->tlb_entry0, TLBENTRY, G);
|
||||
uint16_t tlb_asid = FIELD_EX64(tlb->tlb_misc, TLB_MISC, ASID);
|
||||
uint64_t vpn, tlb_vppn;
|
||||
uint8_t tlb_ps, compare_shift;
|
||||
|
||||
if (i >= LOONGARCH_STLB) {
|
||||
tlb_ps = FIELD_EX64(tlb->tlb_misc, TLB_MISC, PS);
|
||||
} else {
|
||||
tlb_ps = FIELD_EX64(env->CSR_STLBPS, CSR_STLBPS, PS);
|
||||
}
|
||||
tlb_vppn = FIELD_EX64(tlb->tlb_misc, TLB_MISC, VPPN);
|
||||
vpn = (addr & TARGET_VIRT_MASK) >> (tlb_ps + 1);
|
||||
compare_shift = tlb_ps + 1 - R_TLB_MISC_VPPN_SHIFT;
|
||||
|
||||
if (!tlb_g && (tlb_asid == asid) &&
|
||||
(vpn == (tlb_vppn >> compare_shift))) {
|
||||
tlb->tlb_misc = FIELD_DP64(tlb->tlb_misc, TLB_MISC, E, 0);
|
||||
}
|
||||
}
|
||||
tlb_flush(env_cpu(env));
|
||||
}
|
||||
|
||||
void helper_invtlb_page_asid_or_g(CPULoongArchState *env,
|
||||
target_ulong info, target_ulong addr)
|
||||
{
|
||||
uint16_t asid = info & 0x3ff;
|
||||
|
||||
for (int i = 0; i < LOONGARCH_TLB_MAX; i++) {
|
||||
LoongArchTLB *tlb = &env->tlb[i];
|
||||
uint8_t tlb_g = FIELD_EX64(tlb->tlb_entry0, TLBENTRY, G);
|
||||
uint16_t tlb_asid = FIELD_EX64(tlb->tlb_misc, TLB_MISC, ASID);
|
||||
uint64_t vpn, tlb_vppn;
|
||||
uint8_t tlb_ps, compare_shift;
|
||||
|
||||
if (i >= LOONGARCH_STLB) {
|
||||
tlb_ps = FIELD_EX64(tlb->tlb_misc, TLB_MISC, PS);
|
||||
} else {
|
||||
tlb_ps = FIELD_EX64(env->CSR_STLBPS, CSR_STLBPS, PS);
|
||||
}
|
||||
tlb_vppn = FIELD_EX64(tlb->tlb_misc, TLB_MISC, VPPN);
|
||||
vpn = (addr & TARGET_VIRT_MASK) >> (tlb_ps + 1);
|
||||
compare_shift = tlb_ps + 1 - R_TLB_MISC_VPPN_SHIFT;
|
||||
|
||||
if ((tlb_g || (tlb_asid == asid)) &&
|
||||
(vpn == (tlb_vppn >> compare_shift))) {
|
||||
tlb->tlb_misc = FIELD_DP64(tlb->tlb_misc, TLB_MISC, E, 0);
|
||||
}
|
||||
}
|
||||
tlb_flush(env_cpu(env));
|
||||
}
|
||||
|
||||
bool loongarch_cpu_tlb_fill(CPUState *cs, vaddr address, int size,
|
||||
MMUAccessType access_type, int mmu_idx,
|
||||
bool probe, uintptr_t retaddr)
|
||||
|
|
|
|||
Loading…
Add table
Add a link
Reference in a new issue