Compare commits
8 Commits
Author | SHA1 | Date | |
---|---|---|---|
c60afc89bb
|
|||
bbb33e9fd6
|
|||
ac05eff1e8
|
|||
1aaad66233
|
|||
d4994b8c8d
|
|||
e3b8d2cc0f
|
|||
fff609db4a
|
|||
5e99e07f40
|
@@ -8,10 +8,10 @@ import (
|
||||
type brcMode int
|
||||
|
||||
const (
|
||||
modeSourceReading = 0
|
||||
modeSourceFinished = 1
|
||||
modeBufferReading = 2
|
||||
modeBufferFinished = 3
|
||||
modeSourceReading brcMode = 0
|
||||
modeSourceFinished brcMode = 1
|
||||
modeBufferReading brcMode = 2
|
||||
modeBufferFinished brcMode = 3
|
||||
)
|
||||
|
||||
type BufferedReadCloser interface {
|
||||
|
@@ -19,40 +19,38 @@ import (
|
||||
// There are also a bunch of unit tests to ensure that the cache is always in a consistent state
|
||||
//
|
||||
|
||||
type LRUData interface{}
|
||||
|
||||
type LRUMap struct {
|
||||
type LRUMap[TData any] struct {
|
||||
maxsize int
|
||||
lock sync.Mutex
|
||||
|
||||
cache map[string]*cacheNode
|
||||
cache map[string]*cacheNode[TData]
|
||||
|
||||
lfuHead *cacheNode
|
||||
lfuTail *cacheNode
|
||||
lfuHead *cacheNode[TData]
|
||||
lfuTail *cacheNode[TData]
|
||||
}
|
||||
|
||||
type cacheNode struct {
|
||||
type cacheNode[TData any] struct {
|
||||
key string
|
||||
data LRUData
|
||||
parent *cacheNode
|
||||
child *cacheNode
|
||||
data TData
|
||||
parent *cacheNode[TData]
|
||||
child *cacheNode[TData]
|
||||
}
|
||||
|
||||
func NewLRUMap(size int) *LRUMap {
|
||||
func NewLRUMap[TData any](size int) *LRUMap[TData] {
|
||||
if size <= 2 && size != 0 {
|
||||
panic("Size must be > 2 (or 0)")
|
||||
}
|
||||
|
||||
return &LRUMap{
|
||||
return &LRUMap[TData]{
|
||||
maxsize: size,
|
||||
lock: sync.Mutex{},
|
||||
cache: make(map[string]*cacheNode, size+1),
|
||||
cache: make(map[string]*cacheNode[TData], size+1),
|
||||
lfuHead: nil,
|
||||
lfuTail: nil,
|
||||
}
|
||||
}
|
||||
|
||||
func (c *LRUMap) Put(key string, value LRUData) {
|
||||
func (c *LRUMap[TData]) Put(key string, value TData) {
|
||||
if c.maxsize == 0 {
|
||||
return // cache disabled
|
||||
}
|
||||
@@ -70,7 +68,7 @@ func (c *LRUMap) Put(key string, value LRUData) {
|
||||
}
|
||||
|
||||
// key does not exist: insert into map and add to top of LFU
|
||||
node = &cacheNode{
|
||||
node = &cacheNode[TData]{
|
||||
key: key,
|
||||
data: value,
|
||||
parent: nil,
|
||||
@@ -95,9 +93,9 @@ func (c *LRUMap) Put(key string, value LRUData) {
|
||||
}
|
||||
}
|
||||
|
||||
func (c *LRUMap) TryGet(key string) (LRUData, bool) {
|
||||
func (c *LRUMap[TData]) TryGet(key string) (TData, bool) {
|
||||
if c.maxsize == 0 {
|
||||
return nil, false // cache disabled
|
||||
return *new(TData), false // cache disabled
|
||||
}
|
||||
|
||||
c.lock.Lock()
|
||||
@@ -105,13 +103,13 @@ func (c *LRUMap) TryGet(key string) (LRUData, bool) {
|
||||
|
||||
val, ok := c.cache[key]
|
||||
if !ok {
|
||||
return nil, false
|
||||
return *new(TData), false
|
||||
}
|
||||
c.moveNodeToTop(val)
|
||||
return val.data, ok
|
||||
}
|
||||
|
||||
func (c *LRUMap) moveNodeToTop(node *cacheNode) {
|
||||
func (c *LRUMap[TData]) moveNodeToTop(node *cacheNode[TData]) {
|
||||
// (only called in critical section !)
|
||||
|
||||
if c.lfuHead == node { // fast case
|
||||
@@ -144,7 +142,7 @@ func (c *LRUMap) moveNodeToTop(node *cacheNode) {
|
||||
}
|
||||
}
|
||||
|
||||
func (c *LRUMap) Size() int {
|
||||
func (c *LRUMap[TData]) Size() int {
|
||||
c.lock.Lock()
|
||||
defer c.lock.Unlock()
|
||||
return len(c.cache)
|
||||
|
@@ -12,7 +12,7 @@ func init() {
|
||||
}
|
||||
|
||||
func TestResultCache1(t *testing.T) {
|
||||
cache := NewLRUMap(8)
|
||||
cache := NewLRUMap[string](8)
|
||||
verifyLRUList(cache, t)
|
||||
|
||||
key := randomKey()
|
||||
@@ -39,7 +39,7 @@ func TestResultCache1(t *testing.T) {
|
||||
if !ok {
|
||||
t.Errorf("cache TryGet returned no value")
|
||||
}
|
||||
if !eq(cacheval, val) {
|
||||
if cacheval != val {
|
||||
t.Errorf("cache TryGet returned different value (%+v <> %+v)", cacheval, val)
|
||||
}
|
||||
|
||||
@@ -50,7 +50,7 @@ func TestResultCache1(t *testing.T) {
|
||||
}
|
||||
|
||||
func TestResultCache2(t *testing.T) {
|
||||
cache := NewLRUMap(8)
|
||||
cache := NewLRUMap[string](8)
|
||||
verifyLRUList(cache, t)
|
||||
|
||||
key1 := "key1"
|
||||
@@ -150,7 +150,7 @@ func TestResultCache2(t *testing.T) {
|
||||
}
|
||||
|
||||
func TestResultCache3(t *testing.T) {
|
||||
cache := NewLRUMap(8)
|
||||
cache := NewLRUMap[string](8)
|
||||
verifyLRUList(cache, t)
|
||||
|
||||
key1 := "key1"
|
||||
@@ -160,20 +160,20 @@ func TestResultCache3(t *testing.T) {
|
||||
cache.Put(key1, val1)
|
||||
verifyLRUList(cache, t)
|
||||
|
||||
if val, ok := cache.TryGet(key1); !ok || !eq(val, val1) {
|
||||
if val, ok := cache.TryGet(key1); !ok || val != val1 {
|
||||
t.Errorf("Value in cache should be [val1]")
|
||||
}
|
||||
|
||||
cache.Put(key1, val2)
|
||||
verifyLRUList(cache, t)
|
||||
|
||||
if val, ok := cache.TryGet(key1); !ok || !eq(val, val2) {
|
||||
if val, ok := cache.TryGet(key1); !ok || val != val2 {
|
||||
t.Errorf("Value in cache should be [val2]")
|
||||
}
|
||||
}
|
||||
|
||||
// does a basic consistency check over the internal cache representation
|
||||
func verifyLRUList(cache *LRUMap, t *testing.T) {
|
||||
func verifyLRUList[TData any](cache *LRUMap[TData], t *testing.T) {
|
||||
size := 0
|
||||
|
||||
tailFound := false
|
||||
@@ -250,23 +250,10 @@ func randomKey() string {
|
||||
return strconv.FormatInt(rand.Int63(), 16)
|
||||
}
|
||||
|
||||
func randomVal() LRUData {
|
||||
func randomVal() string {
|
||||
v, err := langext.NewHexUUID()
|
||||
if err != nil {
|
||||
panic(err)
|
||||
}
|
||||
return &v
|
||||
}
|
||||
|
||||
func eq(a LRUData, b LRUData) bool {
|
||||
v1, ok1 := a.(*string)
|
||||
v2, ok2 := b.(*string)
|
||||
if ok1 && ok2 {
|
||||
if v1 == nil || v2 == nil {
|
||||
return false
|
||||
}
|
||||
return v1 == v2
|
||||
}
|
||||
|
||||
return false
|
||||
return v
|
||||
}
|
||||
|
@@ -2,17 +2,17 @@ package dataext
|
||||
|
||||
import "sync"
|
||||
|
||||
type SyncStringSet struct {
|
||||
data map[string]bool
|
||||
type SyncSet[TData comparable] struct {
|
||||
data map[TData]bool
|
||||
lock sync.Mutex
|
||||
}
|
||||
|
||||
func (s *SyncStringSet) Add(value string) bool {
|
||||
func (s *SyncSet[TData]) Add(value TData) bool {
|
||||
s.lock.Lock()
|
||||
defer s.lock.Unlock()
|
||||
|
||||
if s.data == nil {
|
||||
s.data = make(map[string]bool)
|
||||
s.data = make(map[TData]bool)
|
||||
}
|
||||
|
||||
_, ok := s.data[value]
|
||||
@@ -21,12 +21,12 @@ func (s *SyncStringSet) Add(value string) bool {
|
||||
return !ok
|
||||
}
|
||||
|
||||
func (s *SyncStringSet) AddAll(values []string) {
|
||||
func (s *SyncSet[TData]) AddAll(values []TData) {
|
||||
s.lock.Lock()
|
||||
defer s.lock.Unlock()
|
||||
|
||||
if s.data == nil {
|
||||
s.data = make(map[string]bool)
|
||||
s.data = make(map[TData]bool)
|
||||
}
|
||||
|
||||
for _, value := range values {
|
||||
@@ -34,12 +34,12 @@ func (s *SyncStringSet) AddAll(values []string) {
|
||||
}
|
||||
}
|
||||
|
||||
func (s *SyncStringSet) Contains(value string) bool {
|
||||
func (s *SyncSet[TData]) Contains(value TData) bool {
|
||||
s.lock.Lock()
|
||||
defer s.lock.Unlock()
|
||||
|
||||
if s.data == nil {
|
||||
s.data = make(map[string]bool)
|
||||
s.data = make(map[TData]bool)
|
||||
}
|
||||
|
||||
_, ok := s.data[value]
|
||||
@@ -47,15 +47,15 @@ func (s *SyncStringSet) Contains(value string) bool {
|
||||
return ok
|
||||
}
|
||||
|
||||
func (s *SyncStringSet) Get() []string {
|
||||
func (s *SyncSet[TData]) Get() []TData {
|
||||
s.lock.Lock()
|
||||
defer s.lock.Unlock()
|
||||
|
||||
if s.data == nil {
|
||||
s.data = make(map[string]bool)
|
||||
s.data = make(map[TData]bool)
|
||||
}
|
||||
|
||||
r := make([]string, 0, len(s.data))
|
||||
r := make([]TData, 0, len(s.data))
|
||||
|
||||
for k := range s.data {
|
||||
r = append(r, k)
|
||||
|
39
langext/sort.go
Normal file
39
langext/sort.go
Normal file
@@ -0,0 +1,39 @@
|
||||
package langext
|
||||
|
||||
import "sort"
|
||||
|
||||
func Sort[T OrderedConstraint](arr []T) {
|
||||
sort.Slice(arr, func(i1, i2 int) bool {
|
||||
return arr[i1] < arr[i2]
|
||||
})
|
||||
}
|
||||
|
||||
func SortStable[T OrderedConstraint](arr []T) {
|
||||
sort.SliceStable(arr, func(i1, i2 int) bool {
|
||||
return arr[i1] < arr[i2]
|
||||
})
|
||||
}
|
||||
|
||||
func IsSorted[T OrderedConstraint](arr []T) bool {
|
||||
return sort.SliceIsSorted(arr, func(i1, i2 int) bool {
|
||||
return arr[i1] < arr[i2]
|
||||
})
|
||||
}
|
||||
|
||||
func SortSlice[T any](arr []T, less func(v1, v2 T) bool) {
|
||||
sort.Slice(arr, func(i1, i2 int) bool {
|
||||
return less(arr[i1], arr[i2])
|
||||
})
|
||||
}
|
||||
|
||||
func SortSliceStable[T any](arr []T, less func(v1, v2 T) bool) {
|
||||
sort.SliceStable(arr, func(i1, i2 int) bool {
|
||||
return less(arr[i1], arr[i2])
|
||||
})
|
||||
}
|
||||
|
||||
func IsSliceSorted[T any](arr []T, less func(v1, v2 T) bool) bool {
|
||||
return sort.SliceIsSorted(arr, func(i1, i2 int) bool {
|
||||
return less(arr[i1], arr[i2])
|
||||
})
|
||||
}
|
@@ -12,14 +12,15 @@ type DB interface {
|
||||
Query(ctx context.Context, sql string, prep PP) (*sqlx.Rows, error)
|
||||
Ping(ctx context.Context) error
|
||||
BeginTransaction(ctx context.Context, iso sql.IsolationLevel) (Tx, error)
|
||||
SetListener(listener Listener)
|
||||
AddListener(listener Listener)
|
||||
Exit() error
|
||||
}
|
||||
|
||||
type database struct {
|
||||
db *sqlx.DB
|
||||
txctr uint16
|
||||
lock sync.Mutex
|
||||
lstr Listener
|
||||
lstr []Listener
|
||||
}
|
||||
|
||||
func NewDB(db *sqlx.DB) DB {
|
||||
@@ -27,31 +28,50 @@ func NewDB(db *sqlx.DB) DB {
|
||||
db: db,
|
||||
txctr: 0,
|
||||
lock: sync.Mutex{},
|
||||
lstr: make([]Listener, 0),
|
||||
}
|
||||
}
|
||||
|
||||
func (db *database) SetListener(listener Listener) {
|
||||
db.lstr = listener
|
||||
func (db *database) AddListener(listener Listener) {
|
||||
db.lstr = append(db.lstr, listener)
|
||||
}
|
||||
|
||||
func (db *database) Exec(ctx context.Context, sql string, prep PP) (sql.Result, error) {
|
||||
if db.lstr != nil {
|
||||
db.lstr.OnExec(nil, sql, &prep)
|
||||
func (db *database) Exec(ctx context.Context, sqlstr string, prep PP) (sql.Result, error) {
|
||||
origsql := sqlstr
|
||||
for _, v := range db.lstr {
|
||||
err := v.PreExec(ctx, nil, &sqlstr, &prep)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
}
|
||||
|
||||
res, err := db.db.NamedExecContext(ctx, sqlstr, prep)
|
||||
|
||||
for _, v := range db.lstr {
|
||||
v.PostExec(nil, origsql, sqlstr, prep)
|
||||
}
|
||||
|
||||
res, err := db.db.NamedExecContext(ctx, sql, prep)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return res, nil
|
||||
}
|
||||
|
||||
func (db *database) Query(ctx context.Context, sql string, prep PP) (*sqlx.Rows, error) {
|
||||
if db.lstr != nil {
|
||||
db.lstr.OnQuery(nil, sql, &prep)
|
||||
func (db *database) Query(ctx context.Context, sqlstr string, prep PP) (*sqlx.Rows, error) {
|
||||
origsql := sqlstr
|
||||
for _, v := range db.lstr {
|
||||
err := v.PreQuery(ctx, nil, &sqlstr, &prep)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
}
|
||||
|
||||
rows, err := sqlx.NamedQueryContext(ctx, db.db, sqlstr, prep)
|
||||
|
||||
for _, v := range db.lstr {
|
||||
v.PostQuery(nil, origsql, sqlstr, prep)
|
||||
}
|
||||
|
||||
rows, err := db.db.NamedQueryContext(ctx, sql, prep)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
@@ -59,11 +79,19 @@ func (db *database) Query(ctx context.Context, sql string, prep PP) (*sqlx.Rows,
|
||||
}
|
||||
|
||||
func (db *database) Ping(ctx context.Context) error {
|
||||
if db.lstr != nil {
|
||||
db.lstr.OnPing()
|
||||
for _, v := range db.lstr {
|
||||
err := v.PrePing(ctx)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
}
|
||||
|
||||
err := db.db.PingContext(ctx)
|
||||
|
||||
for _, v := range db.lstr {
|
||||
v.PostPing(err)
|
||||
}
|
||||
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
@@ -76,8 +104,11 @@ func (db *database) BeginTransaction(ctx context.Context, iso sql.IsolationLevel
|
||||
db.txctr += 1 // with overflow !
|
||||
db.lock.Unlock()
|
||||
|
||||
if db.lstr != nil {
|
||||
db.lstr.OnTxBegin(txid)
|
||||
for _, v := range db.lstr {
|
||||
err := v.PreTxBegin(ctx, txid)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
}
|
||||
|
||||
xtx, err := db.db.BeginTxx(ctx, &sql.TxOptions{Isolation: iso})
|
||||
@@ -85,5 +116,13 @@ func (db *database) BeginTransaction(ctx context.Context, iso sql.IsolationLevel
|
||||
return nil, err
|
||||
}
|
||||
|
||||
for _, v := range db.lstr {
|
||||
v.PostTxBegin(txid, err)
|
||||
}
|
||||
|
||||
return NewTransaction(xtx, txid, db.lstr), nil
|
||||
}
|
||||
|
||||
func (db *database) Exit() error {
|
||||
return db.db.Close()
|
||||
}
|
||||
|
@@ -1,10 +1,19 @@
|
||||
package sq
|
||||
|
||||
import "context"
|
||||
|
||||
type Listener interface {
|
||||
OnQuery(txID *uint16, sql string, params *PP)
|
||||
OnExec(txID *uint16, sql string, params *PP)
|
||||
OnPing()
|
||||
OnTxBegin(txid uint16)
|
||||
OnTxCommit(txid uint16)
|
||||
OnTxRollback(txid uint16)
|
||||
PrePing(ctx context.Context) error
|
||||
PreTxBegin(ctx context.Context, txid uint16) error
|
||||
PreTxCommit(txid uint16) error
|
||||
PreTxRollback(txid uint16) error
|
||||
PreQuery(ctx context.Context, txID *uint16, sql *string, params *PP) error
|
||||
PreExec(ctx context.Context, txID *uint16, sql *string, params *PP) error
|
||||
|
||||
PostPing(result error)
|
||||
PostTxBegin(txid uint16, result error)
|
||||
PostTxCommit(txid uint16, result error)
|
||||
PostTxRollback(txid uint16, result error)
|
||||
PostQuery(txID *uint16, sqlOriginal string, sqlReal string, params PP)
|
||||
PostExec(txID *uint16, sqlOriginal string, sqlReal string, params PP)
|
||||
}
|
||||
|
117
sq/scanner.go
117
sq/scanner.go
@@ -6,24 +6,79 @@ import (
|
||||
"github.com/jmoiron/sqlx"
|
||||
)
|
||||
|
||||
func ScanSingle[TData any](rows *sqlx.Rows, close bool) (TData, error) {
|
||||
type StructScanMode string
|
||||
|
||||
const (
|
||||
SModeFast StructScanMode = "FAST"
|
||||
SModeExtended StructScanMode = "EXTENDED"
|
||||
)
|
||||
|
||||
type StructScanSafety string
|
||||
|
||||
const (
|
||||
Safe StructScanSafety = "SAFE"
|
||||
Unsafe StructScanSafety = "UNSAFE"
|
||||
)
|
||||
|
||||
func ScanSingle[TData any](rows *sqlx.Rows, mode StructScanMode, sec StructScanSafety, close bool) (TData, error) {
|
||||
if rows.Next() {
|
||||
var strscan *StructScanner
|
||||
|
||||
if sec == Safe {
|
||||
strscan = NewStructScanner(rows, false)
|
||||
var data TData
|
||||
err := strscan.Start(&data)
|
||||
if err != nil {
|
||||
return *new(TData), err
|
||||
}
|
||||
} else if sec == Unsafe {
|
||||
strscan = NewStructScanner(rows, true)
|
||||
var data TData
|
||||
err := strscan.Start(&data)
|
||||
if err != nil {
|
||||
return *new(TData), err
|
||||
}
|
||||
} else {
|
||||
return *new(TData), errors.New("unknown value for <sec>")
|
||||
}
|
||||
|
||||
var data TData
|
||||
err := rows.StructScan(&data)
|
||||
if err != nil {
|
||||
return *new(TData), err
|
||||
|
||||
if mode == SModeFast {
|
||||
err := strscan.StructScanBase(&data)
|
||||
if err != nil {
|
||||
return *new(TData), err
|
||||
}
|
||||
} else if mode == SModeExtended {
|
||||
var data TData
|
||||
err := strscan.StructScanExt(&data)
|
||||
if err != nil {
|
||||
return *new(TData), err
|
||||
}
|
||||
} else {
|
||||
return *new(TData), errors.New("unknown value for <mode>")
|
||||
}
|
||||
|
||||
if rows.Next() {
|
||||
_ = rows.Close()
|
||||
return *new(TData), errors.New("sql returned more than onw row")
|
||||
if close {
|
||||
_ = rows.Close()
|
||||
}
|
||||
return *new(TData), errors.New("sql returned more than one row")
|
||||
}
|
||||
|
||||
if close {
|
||||
err = rows.Close()
|
||||
err := rows.Close()
|
||||
if err != nil {
|
||||
return *new(TData), err
|
||||
}
|
||||
}
|
||||
|
||||
if err := rows.Err(); err != nil {
|
||||
return *new(TData), err
|
||||
}
|
||||
|
||||
return data, nil
|
||||
|
||||
} else {
|
||||
if close {
|
||||
_ = rows.Close()
|
||||
@@ -32,21 +87,55 @@ func ScanSingle[TData any](rows *sqlx.Rows, close bool) (TData, error) {
|
||||
}
|
||||
}
|
||||
|
||||
func ScanAll[TData any](rows *sqlx.Rows, close bool) ([]TData, error) {
|
||||
func ScanAll[TData any](rows *sqlx.Rows, mode StructScanMode, sec StructScanSafety, close bool) ([]TData, error) {
|
||||
var strscan *StructScanner
|
||||
|
||||
if sec == Safe {
|
||||
strscan = NewStructScanner(rows, false)
|
||||
var data TData
|
||||
err := strscan.Start(&data)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
} else if sec == Unsafe {
|
||||
strscan = NewStructScanner(rows, true)
|
||||
var data TData
|
||||
err := strscan.Start(&data)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
} else {
|
||||
return nil, errors.New("unknown value for <sec>")
|
||||
}
|
||||
|
||||
res := make([]TData, 0)
|
||||
for rows.Next() {
|
||||
var data TData
|
||||
err := rows.StructScan(&data)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
if mode == SModeFast {
|
||||
var data TData
|
||||
err := strscan.StructScanBase(&data)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
res = append(res, data)
|
||||
} else if mode == SModeExtended {
|
||||
var data TData
|
||||
err := strscan.StructScanExt(&data)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
res = append(res, data)
|
||||
} else {
|
||||
return nil, errors.New("unknown value for <mode>")
|
||||
}
|
||||
res = append(res, data)
|
||||
}
|
||||
if close {
|
||||
err := rows.Close()
|
||||
err := strscan.rows.Close()
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
}
|
||||
if err := rows.Err(); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return res, nil
|
||||
}
|
||||
|
201
sq/structscanner.go
Normal file
201
sq/structscanner.go
Normal file
@@ -0,0 +1,201 @@
|
||||
package sq
|
||||
|
||||
import (
|
||||
"errors"
|
||||
"fmt"
|
||||
"github.com/jmoiron/sqlx"
|
||||
"github.com/jmoiron/sqlx/reflectx"
|
||||
"reflect"
|
||||
)
|
||||
|
||||
// forked from sqlx, but added ability to unmarshal optional-nested structs
|
||||
|
||||
type StructScanner struct {
|
||||
rows *sqlx.Rows
|
||||
Mapper *reflectx.Mapper
|
||||
unsafe bool
|
||||
|
||||
fields [][]int
|
||||
values []any
|
||||
columns []string
|
||||
}
|
||||
|
||||
func NewStructScanner(rows *sqlx.Rows, unsafe bool) *StructScanner {
|
||||
return &StructScanner{
|
||||
rows: rows,
|
||||
Mapper: reflectx.NewMapper("db"),
|
||||
unsafe: unsafe,
|
||||
}
|
||||
}
|
||||
|
||||
func (r *StructScanner) Start(dest any) error {
|
||||
v := reflect.ValueOf(dest)
|
||||
|
||||
if v.Kind() != reflect.Ptr {
|
||||
return errors.New("must pass a pointer, not a value, to StructScan destination")
|
||||
}
|
||||
|
||||
columns, err := r.rows.Columns()
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
r.columns = columns
|
||||
r.fields = r.Mapper.TraversalsByName(v.Type(), columns)
|
||||
// if we are not unsafe and are missing fields, return an error
|
||||
if f, err := missingFields(r.fields); err != nil && !r.unsafe {
|
||||
return fmt.Errorf("missing destination name %s in %T", columns[f], dest)
|
||||
}
|
||||
r.values = make([]interface{}, len(columns))
|
||||
|
||||
return nil
|
||||
}
|
||||
|
||||
// StructScan forked from github.com/jmoiron/sqlx@v1.3.5/sqlx.go
|
||||
// does also wok with nullabel structs (from LEFT JOIN's)
|
||||
func (r *StructScanner) StructScanExt(dest any) error {
|
||||
v := reflect.ValueOf(dest)
|
||||
|
||||
if v.Kind() != reflect.Ptr {
|
||||
return errors.New("must pass a pointer, not a value, to StructScan destination")
|
||||
}
|
||||
|
||||
// ========= STEP 1 :: =========
|
||||
|
||||
v = v.Elem()
|
||||
|
||||
err := fieldsByTraversal(v, r.fields, r.values)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
// scan into the struct field pointers and append to our results
|
||||
err = r.rows.Scan(r.values...)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
|
||||
nullStructs := make(map[string]bool)
|
||||
|
||||
for i, traversal := range r.fields {
|
||||
if len(traversal) == 0 {
|
||||
continue
|
||||
}
|
||||
|
||||
isnsil := reflect.ValueOf(r.values[i]).Elem().IsNil()
|
||||
|
||||
for i := 1; i < len(traversal); i++ {
|
||||
|
||||
canParentNil := reflectx.FieldByIndexes(v, traversal[0:i]).Kind() == reflect.Pointer
|
||||
|
||||
k := fmt.Sprintf("%v", traversal[0:i])
|
||||
if v, ok := nullStructs[k]; ok {
|
||||
|
||||
nullStructs[k] = canParentNil && v && isnsil
|
||||
|
||||
} else {
|
||||
nullStructs[k] = canParentNil && isnsil
|
||||
}
|
||||
}
|
||||
|
||||
}
|
||||
|
||||
forcenulled := make(map[string]bool)
|
||||
|
||||
for i, traversal := range r.fields {
|
||||
if len(traversal) == 0 {
|
||||
continue
|
||||
}
|
||||
|
||||
anyparentnull := false
|
||||
for i := 1; i < len(traversal); i++ {
|
||||
k := fmt.Sprintf("%v", traversal[0:i])
|
||||
if nv, ok := nullStructs[k]; ok && nv {
|
||||
|
||||
if _, ok := forcenulled[k]; !ok {
|
||||
f := reflectx.FieldByIndexes(v, traversal[0:i])
|
||||
f.Set(reflect.New(f.Type().Elem())) // set to nil
|
||||
forcenulled[k] = true
|
||||
}
|
||||
|
||||
anyparentnull = true
|
||||
break
|
||||
|
||||
}
|
||||
}
|
||||
|
||||
if anyparentnull {
|
||||
continue
|
||||
}
|
||||
|
||||
f := reflectx.FieldByIndexes(v, traversal)
|
||||
|
||||
val1 := reflect.ValueOf(r.values[i])
|
||||
val2 := val1.Elem()
|
||||
val3 := val2.Elem()
|
||||
|
||||
if val2.IsNil() {
|
||||
if f.Kind() != reflect.Pointer {
|
||||
return errors.New(fmt.Sprintf("Cannot set field %v to NULL value from column '%s' (type: %s)", traversal, r.columns[i], f.Type().String()))
|
||||
}
|
||||
|
||||
f.Set(reflect.New(f.Type().Elem())) // set to nil
|
||||
} else {
|
||||
f.Set(val3)
|
||||
}
|
||||
|
||||
}
|
||||
|
||||
return r.rows.Err()
|
||||
}
|
||||
|
||||
// StructScan forked from github.com/jmoiron/sqlx@v1.3.5/sqlx.go
|
||||
// without (relevant) changes
|
||||
func (r *StructScanner) StructScanBase(dest any) error {
|
||||
v := reflect.ValueOf(dest)
|
||||
|
||||
if v.Kind() != reflect.Ptr {
|
||||
return errors.New("must pass a pointer, not a value, to StructScan destination")
|
||||
}
|
||||
|
||||
v = v.Elem()
|
||||
|
||||
err := fieldsByTraversal(v, r.fields, r.values)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
// scan into the struct field pointers and append to our results
|
||||
err = r.rows.Scan(r.values...)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
return r.rows.Err()
|
||||
}
|
||||
|
||||
// fieldsByTraversal forked from github.com/jmoiron/sqlx@v1.3.5/sqlx.go
|
||||
func fieldsByTraversal(v reflect.Value, traversals [][]int, values []interface{}) error {
|
||||
v = reflect.Indirect(v)
|
||||
if v.Kind() != reflect.Struct {
|
||||
return errors.New("argument not a struct")
|
||||
}
|
||||
|
||||
for i, traversal := range traversals {
|
||||
if len(traversal) == 0 {
|
||||
values[i] = new(interface{})
|
||||
continue
|
||||
}
|
||||
f := reflectx.FieldByIndexes(v, traversal)
|
||||
|
||||
values[i] = reflect.New(reflect.PointerTo(f.Type())).Interface()
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// missingFields forked from github.com/jmoiron/sqlx@v1.3.5/sqlx.go
|
||||
func missingFields(transversals [][]int) (field int, err error) {
|
||||
for i, t := range transversals {
|
||||
if len(t) == 0 {
|
||||
return i, errors.New("missing field")
|
||||
}
|
||||
}
|
||||
return 0, nil
|
||||
}
|
@@ -17,10 +17,10 @@ type Tx interface {
|
||||
type transaction struct {
|
||||
tx *sqlx.Tx
|
||||
id uint16
|
||||
lstr Listener
|
||||
lstr []Listener
|
||||
}
|
||||
|
||||
func NewTransaction(xtx *sqlx.Tx, txid uint16, lstr Listener) Tx {
|
||||
func NewTransaction(xtx *sqlx.Tx, txid uint16, lstr []Listener) Tx {
|
||||
return &transaction{
|
||||
tx: xtx,
|
||||
id: txid,
|
||||
@@ -29,39 +29,75 @@ func NewTransaction(xtx *sqlx.Tx, txid uint16, lstr Listener) Tx {
|
||||
}
|
||||
|
||||
func (tx *transaction) Rollback() error {
|
||||
if tx.lstr != nil {
|
||||
tx.lstr.OnTxRollback(tx.id)
|
||||
for _, v := range tx.lstr {
|
||||
err := v.PreTxRollback(tx.id)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
}
|
||||
|
||||
return tx.tx.Rollback()
|
||||
result := tx.tx.Rollback()
|
||||
|
||||
for _, v := range tx.lstr {
|
||||
v.PostTxRollback(tx.id, result)
|
||||
}
|
||||
|
||||
return result
|
||||
}
|
||||
|
||||
func (tx *transaction) Commit() error {
|
||||
if tx.lstr != nil {
|
||||
tx.lstr.OnTxCommit(tx.id)
|
||||
for _, v := range tx.lstr {
|
||||
err := v.PreTxCommit(tx.id)
|
||||
if err != nil {
|
||||
return err
|
||||
}
|
||||
}
|
||||
|
||||
return tx.tx.Commit()
|
||||
result := tx.tx.Commit()
|
||||
|
||||
for _, v := range tx.lstr {
|
||||
v.PostTxRollback(tx.id, result)
|
||||
}
|
||||
|
||||
return result
|
||||
}
|
||||
|
||||
func (tx *transaction) Exec(ctx context.Context, sql string, prep PP) (sql.Result, error) {
|
||||
if tx.lstr != nil {
|
||||
tx.lstr.OnExec(langext.Ptr(tx.id), sql, &prep)
|
||||
func (tx *transaction) Exec(ctx context.Context, sqlstr string, prep PP) (sql.Result, error) {
|
||||
origsql := sqlstr
|
||||
for _, v := range tx.lstr {
|
||||
err := v.PreExec(ctx, langext.Ptr(tx.id), &sqlstr, &prep)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
}
|
||||
|
||||
res, err := tx.tx.NamedExecContext(ctx, sqlstr, prep)
|
||||
|
||||
for _, v := range tx.lstr {
|
||||
v.PostExec(langext.Ptr(tx.id), origsql, sqlstr, prep)
|
||||
}
|
||||
|
||||
res, err := tx.tx.NamedExecContext(ctx, sql, prep)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
return res, nil
|
||||
}
|
||||
|
||||
func (tx *transaction) Query(ctx context.Context, sql string, prep PP) (*sqlx.Rows, error) {
|
||||
if tx.lstr != nil {
|
||||
tx.lstr.OnQuery(langext.Ptr(tx.id), sql, &prep)
|
||||
func (tx *transaction) Query(ctx context.Context, sqlstr string, prep PP) (*sqlx.Rows, error) {
|
||||
origsql := sqlstr
|
||||
for _, v := range tx.lstr {
|
||||
err := v.PreQuery(ctx, langext.Ptr(tx.id), &sqlstr, &prep)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
}
|
||||
|
||||
rows, err := sqlx.NamedQueryContext(ctx, tx.tx, sqlstr, prep)
|
||||
|
||||
for _, v := range tx.lstr {
|
||||
v.PostQuery(langext.Ptr(tx.id), origsql, sqlstr, prep)
|
||||
}
|
||||
|
||||
rows, err := sqlx.NamedQueryContext(ctx, tx.tx, sql, prep)
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
|
Reference in New Issue
Block a user